[論文レビュー] Learning to detect an animal sound from five examples

Inês Nolasco, Shubhr Singh+15 more|arXiv (Cornell University)|May 22, 2023

Animal Vocal Communication and BehaviorBiochemistry, Genetics and Molecular Biology参考文献 60被引用数 3

ひとこと要約

本論文は、5つのラベル付き例からのみ動物の発声を検出できる少数ショット生物音声イベント検出（FSED）を導入する。音声固有の前処理とクエリ時間適応を組み合わせたプロトタイプネットワークの適応により、多様でリソースが限られた生物音声タスクにおいて優れた性能を達成し、従来の信号処理手法を上回り、野生生物音声分析における汎用的で少数ショットのモデルの可能性を示している。

ABSTRACT

Automatic detection and classification of animal sounds has many applications in biodiversity monitoring and animal behaviour. In the past twenty years, the volume of digitised wildlife sound available has massively increased, and automatic classification through deep learning now shows strong results. However, bioacoustics is not a single task but a vast range of small-scale tasks (such as individual ID, call type, emotional indication) with wide variety in data characteristics, and most bioacoustic tasks do not come with strongly-labelled training data. The standard paradigm of supervised learning, focussed on a single large-scale dataset and/or a generic pre-trained algorithm, is insufficient. In this work we recast bioacoustic sound event detection within the AI framework of few-shot learning. We adapt this framework to sound event detection, such that a system can be given the annotated start/end times of as few as 5 events, and can then detect events in long-duration audio -- even when the sound category was not known at the time of algorithm training. We introduce a collection of open datasets designed to strongly test a system's ability to perform few-shot sound event detections, and we present the results of a public contest to address the task. We show that prototypical networks are a strong-performing method, when enhanced with adaptations for general characteristics of animal sounds. We demonstrate that widely-varying sound event durations are an important factor in performance, as well as non-stationarity, i.e. gradual changes in conditions throughout the duration of a recording. For fine-grained bioacoustic recognition tasks without massive annotated training data, our results demonstrate that few-shot sound event detection is a powerful new method, strongly outperforming traditional signal-processing detection methods in the fully automated scenario.

研究の動機と目的

• ラベル付きデータが乏しく、音声の特徴が大きく異なるタスクが広範にわたる低リソースな生物音声イベント検出の課題に対処すること。
• 最小限の教師信号で多様な種や発声タイプに一般化可能な、動物発声に特化した少数ショット学習フレームワークを開発すること。
• 非定常な状態と変動するイベント継続時間を持つ実世界の長時間音声記録において、少数ショットモデルの性能を評価すること。
• クエリ時間適応を用いたプロトタイプベースのメタラーニングが、少数ショット生物音声検出で最先端の結果を達成できることを示すこと。
• 公開チャレンジとオープンデータセットを通じて、再利用可能で汎用的な音声埋め込みの開発を促進すること。

提案手法

• 5つのラベル付き動物発声とバックグラウンド音声からなるサポートセットを用いて、少数ショット音声イベント検出（FSED）のためのプロトタイプネットワークを適応する。
• 非定常な音声条件に対する耐性を高め、特徴表現を改善するために、チャンネルごとのエネルギー正規化（PCEN）を適用する。
• 再トレーニングなしに新しい音声クリップの予測を微調整するため、クエリ時間適応（伝導推論）を実装する。
• 変動するイベント長さに対応するため、長さフィルタリングと後処理を実施し、実世界の記録において顕著に性能に影響を与える要因を軽減する。
• 少数ショット一般化を厳密にテストできるように、複数の種や発声タイプをカバーする多様でオープンなデータセットを含む公開ベンチマークを導入する。
• プロトタイプと非プロトタイプの両方のアプローチを評価し、微調整とクエリ時間適応重み付け（例：DFSL）を含む、一般化戦略を比較する。

Figure 1: (a) Few-shot sound event detection: the first 5 sound events are given as examples—in standard supervised learning they would be considered the training set—and the remainder must then be detected. (b) Few-shot sound event detection as a meta-learning problem. Each of our datasets represen

実験結果

リサーチクエスチョン

• RQ1 クラスあたり5例のラベル付き例でのみ、少数ショット学習を生物音声イベント検出に効果的に適用できるか？
• RQ2 長時間の音声記録における非定常性と変動するイベント継続時間は、少数ショット検出性能にどのように影響するか？
• RQ3 クエリ時間適応は、少数ショット生物音声タスクにおける検出精度を顕著に向上させるか？
• RQ4 テスト時適応なしに、1つの固定された埋め込み空間が多様な生物音声タスクに一般化できるか？
• RQ5 実世界のFSEDベンチマークにおいて、プロトタイプベースのメタラーニングと他の微調整手法は、性能でどのように比較されるか？

主な発見

• 適切なネガティブ例選択と長さフィルタリングを組み合わせたプロトタイプベースのメタラーニングは、少数ショット生物音声イベント検出で強力な性能を達成する。
• クエリ時間適応は、特に非定常な記録において検出精度を顕著に向上させるが、計算コストと複雑さが増加する。
• クエリ時間適応がなくても、最良のプロトタイプネットワークモデルは、多様な動物発声に一般化可能な強力な再利用可能な埋め込みを生成する。
• 完全自動化された状況では、従来の信号処理ベースの検出法を上回り、特にリソースが限られたタスクや変動する継続時間を持つタスクで顕著な優位性を示す。
• 微調整やDFSL（クエリ時間適応重み付け）などの非プロトタイプアプローチも強力な結果を達成しており、メタラーニングが必須ではないことを示唆する。
• 2023年のチャレンジで導入されたアンサンブル制限は、モデルの一般化を促進し、アンサンブルベースの解決策よりも単一で強固なモデルを好む傾向を強化している。

Figure 2: Sample spectrograms for each dataset. POS (positive, i.e. target) vocalizations are indicated with a white rectangle.