[论文解读] Learning Deep Models from Synthetic Data for Extracting Dolphin Whistle Contours

Pu Li, Xiaobai Liua+9 more|arXiv (Cornell University)|May 18, 2020

Marine animal studies overview参考文献 37被引用 4

一句话总结

本文提出了一种深度学习方法，利用合成生成的训练数据从水听器录音中提取海豚哨叫声轮廓。通过将频谱图建模为时间-频率块，并训练神经网络以检测典型哨叫模式，该方法在常见海豚和长肢领航鲸哨叫上的F1得分相比基线方法提高了25%（F1得分提高0.158）。

ABSTRACT

We present a learning-based method for extracting whistles of toothed whales (Odontoceti) in hydrophone recordings. Our method represents audio signals as time-frequency spectrograms and decomposes each spectrogram into a set of time-frequency patches. A deep neural network learns archetypical patterns (e.g., crossings, frequency modulated sweeps) from the spectrogram patches and predicts time-frequency peaks that are associated with whistles. We also developed a comprehensive method to synthesize training samples from background environments and train the network with minimal human annotation effort. We applied the proposed learn-from-synthesis method to a subset of the public Detection, Classification, Localization, and Density Estimation (DCLDE) 2011 workshop data to extract whistle confidence maps, which we then processed with an existing contour extractor to produce whistle annotations. The F1-score of our best synthesis method was 0.158 greater than our baseline whistle extraction algorithm (~25% improvement) when applied to common dolphin (Delphinus spp.) and bottlenose dolphin (Tursiops truncatus) whistles.

研究动机与目标

• 通过生成合成训练样本，解决生物声学中海豚哨叫标注数据稀缺的问题。
• 开发一种深度学习模型，以在嘈杂的水下录音中准确检测与海豚哨叫相关的时间-频率峰值。
• 通过依赖训练数据的自动化合成，最大限度减少人工标注工作量。
• 在性能上超越传统基线算法，提升哨叫轮廓提取效果。
• 实现在大规模生物声学数据集中可扩展、自动化的海豚发声分析。

提出的方法

• 该方法将音频信号表示为时间-频率频谱图，并将每个频谱图划分为局部的时间-频率块。
• 训练深度神经网络以从这些块中学习典型模式，如频率调制扫频和交叉特征。
• 通过将真实环境背景声音与人工建模的哨叫信号相结合，生成合成训练数据，以模拟真实的录音条件。
• 网络预测对应潜在哨叫轮廓的时间-频率峰值，随后由现有轮廓提取器进行处理。
• 训练过程仅需极少人工标注，主要依赖于受控声学参数的合成数据。
• 最终的哨叫标注通过后处理深度模型生成的置信度图获得。

实验结果

研究问题

• RQ1 合成数据能否在极少人工标注数据的情况下，有效训练深度神经网络以实现海豚哨叫检测？
• RQ2 基于合成数据学习的方法与传统哨叫提取基线方法相比，性能如何？
• RQ3 深度模型在检测包括宽吻海豚（Delphinus）和长肢领航鲸（Tursiops truncatus）在内的多种海豚物种的多样化哨叫轮廓方面，其泛化能力如何？
• RQ4 合成数据的质量与多样性对哨叫轮廓提取中模型泛化能力及F1得分的影响如何？
• RQ5 所提出的方法能否在复杂、嘈杂的水下声学环境中实现高精确率与高召回率？

主要发现

• 所提方法的F1得分比基线算法高出0.158，性能相对提升25%。
• 该模型在常见海豚（Delphinus spp.）和长肢领航鲸（Tursiops truncatus）哨叫上均表现出强大的泛化能力。
• 使用合成数据显著减少了对昂贵人工标注的依赖，同时保持了高检测准确率。
• 模型生成的置信度图在结合现有轮廓查找算法后，实现了有效的轮廓提取。
• 该方法在公开的DCLDE 2011研讨会数据集的一个子集上得到验证，证实其在真实环境条件下的鲁棒性。
• 该方法被选为国际神经网络联合会议（International Joint Conference on Neural Networks）的特邀论文，表明其方法论上的重要性。