[论文解读] Inspecting spectra with sound: proof-of-concept & extension to datacubes

James W. Trayford, C. M. Harrison+4 more|arXiv (Cornell University)|Jun 16, 2023

Music and Audio ProcessingComputer Science被引用 3

一句话总结

本文提出光谱听觉化——将星系光谱转换为声音，以实现对光谱的直接听觉检查，作为视觉分析的补充。在58名参与者的用户研究中，音频表示的评分与物理光谱特性（信噪比、线宽、流量比）高度相关，表明仅通过听觉即可感知关键天体物理学信息，并将该方法扩展至三维光谱数据立方体的交互式听觉化，以实现对复杂多维天文数据集的高效探索。

ABSTRACT

We present a novel approach to inspecting galaxy spectra using sound, via their direct audio representation ('spectral audification'). We discuss the potential of this as a complement to (or stand-in for) visual approaches. We surveyed 58 respondents who use the audio representation alone to rate 30 optical galaxy spectra with strong emission lines. Across three tests, each focusing on different quantities measured from the spectra (signal-to-noise ratio, emission-line width, & flux ratios), we find that user ratings are well correlated with measured quantities. This demonstrates that physical information can be independently gleaned from listening to spectral audifications. We note the importance of context when rating these sonifications, where the order examples are heard can influence responses. Finally, we adapt the method used in this promising pilot study to spectral datacubes. We suggest that audification allows efficient exploration of complex, spatially-resolved spectral data.

研究动机与目标

• 探究通过听觉感知声学化星系光谱是否能对关键天体物理学特性（如信噪比、发射线宽度和流量比）提供可靠且定量的洞察。
• 评估光谱听觉化作为研究工具的可行性和有效性，特别是在与视觉检查方法对比或互补时的表现。
• 将该方法扩展至空间分辨的光谱数据立方体（如IFU数据），通过实时音频表示实现对复杂多维天文数据集的高效探索。
• 评估上下文因素（如光谱的呈现顺序）对用户感知和评分一致性的影响。
• 开发并展示一个实时、交互式的光谱数据立方体听觉化界面原型，为未来集成到天文数据档案中铺平道路。

提出的方法

• 通过将通量随波长的变化映射到可听频率范围（20–20,000 Hz），实现光谱听觉化，生成光谱能量分布的直接音频表示。
• 使用STRUAUSS（Astronomers Using Sound Synthesis的声学工具与资源）Python软件包生成音频表示，将通量值映射为声音振幅，将波长映射为频率。
• 通过一项包含58名参与者的用户调查，评估了30个具有强发射线的星系光谱，参与者就三个物理特性进行评分：信噪比、发射线宽度和流量比。
• 将评分与真实测量值进行比较以评估相关性，使用统计分析评估可靠性以及上下文（如呈现顺序）的影响。
• 通过基于逆FFT的方法，将方法扩展至三维光谱数据立方体，以实现实时声学化空间分辨光谱数据。
• 开发并演示了一款动态的、声学化的数据立方体浏览器，展示了在复杂数据中通过听觉导航和建立直觉的潜力。

Figure 1: Visual representations of galaxy spectra that were played as audio files to the participants during the initial training (the visuals were not shown). The three columns correspond to the three tests (SNR, emission-line width, and emission-line ratio). In each case, the top panel shows an e

实验结果

研究问题

• RQ1 用户能否仅通过听觉检查声学化星系光谱，准确感知并评分关键天体物理学特性（如信噪比、发射线宽度和流量比）？
• RQ2 光谱的呈现顺序（上下文）如何影响用户评分，其对感知一致性的影响力有多大？
• RQ3 光谱听觉化能否有效扩展至三维光谱数据立方体，实现对空间分辨光谱数据的高效、直观探索？
• RQ4 在可靠性以及对细微光谱特征的敏感性方面，听觉检查与视觉检查相比表现如何？
• RQ5 将声学化数据立方体集成到天文数据档案和研究工作流程中，其实际影响和潜在应用是什么？

主要发现

• 用户对光谱听觉化结果的评分与实测物理量高度相关：信噪比、发射线宽度和流量比均可通过听觉单独区分。
• 光谱的呈现顺序显著影响用户评分，平均排名偏移与前一光谱中感兴趣量（尤其是信噪比）的变化相关，表明感知具有上下文依赖性。
• 该方法在光谱数据立方体上具有可行性，原型动态声学化显示，使用优化的IFFT方法可实现实时、交互式的三维光谱数据音频探索。
• 尽管用户培训极少，参与者仍能可靠地区分光谱特征，表明光谱听觉化可作为数据检查中的互补或替代模态。
• 本研究凸显了听觉化在增强数据直觉、提升对视觉障碍研究人员的可访问性以及发现视觉分析中可能被忽略的细微特征方面的潜力。
• 作者指出未来研究需求，包括更大规模的用户研究、改进的培训协议，以及与视觉和混合检查模式的对比评估。

Figure 2: Mean participant rating (error bars show standard error on the mean) for each of the galaxy SAs, as a function of the rank ordering of the principle physical quantify varied in each test. Panels correspond to different test ( top: SNR; middle: emission-line width; bottom: emission-line rat