[论文解读] Machine learning in acoustics: a review.

Michael J. Bianco, Peter Gerstoft+6 more|arXiv (Cornell University)|May 11, 2019

Underwater Acoustics Research被引用 6

一句话总结

本文综述了机器学习（ML），尤其是深度学习，在声学领域的变革性作用，展示了数据驱动模型在复杂任务（如声源定位、生物声学和环境声音分析）中超越传统信号处理的潜力。它强调了机器学习从大规模数据集中学习复杂声学模式的能力，从而在语音处理、海洋声学和生态监测方面取得突破性进展。

ABSTRACT

Acoustic data provide scientific and engineering insights in fields ranging from biology and communications to ocean and Earth science. We survey the recent advances and transformative potential of machine learning (ML), including deep learning, in the field of acoustics. ML is a broad family of techniques, which are often based in statistics, for automatically detecting and utilizing patterns in data. Relative to conventional acoustics and signal processing, ML is data-driven. Given sufficient training data, ML can discover complex relationships between features and desired labels or actions, or between features themselves. With large volumes of training data, ML can discover models describing complex acoustic phenomena such as human speech and reverberation. ML in acoustics is rapidly developing with compelling results and significant future promise. We first introduce ML, then highlight ML developments in four acoustics research areas: source localization in speech processing, source localization in ocean acoustics, bioacoustics, and environmental sounds in everyday scenes.

研究动机与目标

• 探讨机器学习在多样化科学与工程领域声学中的日益增长的影响。
• 识别传统信号处理中的关键挑战，以及机器学习如何通过数据驱动建模加以克服。
• 回顾机器学习在语音和海洋声学中声源定位应用的最新进展。
• 评估机器学习在真实场景中分析生物声学与环境声音中的作用。
• 突出大规模数据与深度学习在建模复杂声学现象（如混响和人类语音）方面的潜力。

提出的方法

• 调研四个核心声学领域（语音处理、海洋声学、生物声学与环境声音识别）的近期文献与案例研究。
• 聚焦于直接从声学数据中学习模式的数据驱动机器学习技术，而无需依赖手工设计的信号处理特征。
• 强调卷积神经网络与循环神经网络等深度学习架构在建模音频中时间与频谱模式方面的作用。
• 分析大规模训练数据集如何使机器学习模型发现声学特征与标签之间的复杂关系。
• 从准确性、鲁棒性与适应性角度，对比基于机器学习的方法与传统信号处理方法。
• 通过迁移学习与表征学习，在低数据场景下展示模型的泛化能力。

实验结果

研究问题

• RQ1 与传统方法相比，机器学习在语音和水下声学环境中如何提升声源定位性能？
• RQ2 机器学习在生物声学中以何种方式可增强动物鸣叫的检测与分类？
• RQ3 数据驱动的机器学习模型相较于传统信号处理，在建模复杂声学现象方面具有哪些关键优势？
• RQ4 大规模数据集与深度学习架构如何促进混响与语音信号的建模？
• RQ5 当前机器学习在环境声音与日常声学场景分析中的局限性及未来研究方向是什么？

主要发现

• 机器学习通过从数据中学习复杂的空间与频谱模式，显著提升了语音处理中声源定位的准确性与鲁棒性。
• 在海洋声学中，机器学习模型通过捕捉非线性传播效应与环境变化，实现了对水下声源定位的改进。
• 深度学习技术显著提升了生物声学中在嘈杂与复杂环境中动物鸣叫的检测与分类性能。
• 基于机器学习的环境声音识别系统在从原始音频中识别日常声学事件（如门铃声或交通声）方面表现出高性能。
• 大规模训练数据集使机器学习模型能够发现声学数据中的复杂关系，从而实现更好的泛化与对混响等现象的建模。
• 在涉及高维、非线性或非平稳声学信号的场景中，数据驱动的机器学习方法优于传统信号处理方法。