[論文レビュー] Bioacoustic Event Detection with prototypical networks and data augmentation

Mark Anderson, Naomi Harte|arXiv (Cornell University)|Dec 16, 2021

Animal Vocal Communication and Behavior被引用数 4

ひとこと要約

本稿では、データ拡張およびPCEN正規化されたメルスペクトログラムを用いたプロトタイプネットワークを用いた、少量学習による生体音声イベント検出の手法を提示する。F-measureが26.243%に達したが、再現率は38.1%に向上したものの、精度が低いことから、強固な特徴工学および拡張技術を用いても一般化に課題が残っていることが示唆される。

ABSTRACT

This report presents deep learning and data augmentation techniques used by a system entered into the Few-Shot Bioacoustic Event Detection for the DCASE2021 Challenge. The remit was to develop a few-shot learning system for animal (mammal and bird) vocalisations. Participants were tasked with developing a method that can extract information from five exemplar vocalisations, or shots, of mammals or birds and detect and classify sounds in field recordings. In the system described in this report, prototypical networks are used to learn a metric space, from which classification is performed by computing the distance of a query point to class prototypes, classifying based on shortest distance. We describe the architecture of this network, feature extraction methods, and data augmentation performed on the given dataset and compare our work to the challenge's baseline networks.

研究の動機と目的

• クラスあたり5つのラベル付き例のみを用いて、動物の発声を検出・分類できる少量学習システムの開発。
• アノテーションが高コストでデータが限られる低リソースな生体音声シナリオにおける一般化の向上。
• データ拡張およびPCEN正規化の有効性を、未観測の動物発声クラスに対するモデルのロバスト性向上の観点から評価すること。
• 特にF-measure、精度、再現率の観点から、提案手法とチャレンジのベースラインを比較すること。

提案手法

• 分類は、クエリ埋め込みとクラスプロトタイプ間のユークリッド距離に基づくメトリクス空間を学習するプロトタイプネットワークを用いる。
• 音声は128バン、1024 FFTサイズ、256ホップ長を用いてメルスペクトログラムに変換され、ノイズ耐性を高めるためにチャネルごとのエネルギー正規化（PCEN）が適用される。
• データ拡張には、時間伸縮（±5%）、時間マスキング（T個の連続する時間ステップを0に設定）、周波数マスキングが含まれ、すべてTorchaudioを介して実装される。
• モデルは、サポートセット上で交差エントロピー損失を用いてエンドツーエンドで訓練され、プロトタイプはサポート埋め込みの平均として計算される。
• 発生時刻と終了時刻は、アテンションマップに対してしきい値処理およびエッジ検出法を適用し、その後、短いイベントを除去するための後処理が施される。
• 後処理では、最も短い正例の60%未満の長さのイベントが削除され、誤検出の低減が図られる。

実験結果

リサーチクエスチョン

• RQ1 プロトタイプネットワークは、クラスあたり5例のラベル付き例のみを用いて、未観測の動物発声クラスに効果的に一般化できるか？
• RQ2 ノイズの多い生体音声データにおいて、PCEN正規化はログメルスペクトログラムに比べてモデルのロバスト性を向上させるか？
• RQ3 時間伸縮やマスキングなどのデータ拡張技術は、少量学習検出性能にどの程度寄与するか？
• RQ4 なぜ、データ拡張を施したモデルは、ベースラインよりも高い訓練損失を示しながらも、検証性能が向上しているのか？

主な発見

• 最良のモデルは、PCEN正規化スペクトログラムとデータ拡張を用いて、検証セットでF-measure 26.243%を達成した。
• 再現率がベースラインと比較して著しく38.1%に向上したが、これは真陽性イベントの検出能力の向上を示している。
• 精度が20.0%に低下したのは、誤検出が多発したためであり、学習された埋め込み空間における分離性が限定的である可能性を示唆している。
• PCENおよびデータ拡張を用いたモデルは、ログメルベースライン（F-measure 16.565%）を上回った。
• 高い訓練損失を示したが、拡張モデルはより安定した収束を示し、最小損失値も低く抑えられ、最適化のダイナミクスが優れていることが示された。
• 後処理により誤検出が低減されたが、真陽性にほとんど影響を与えないことから、予測の精練に有効であることが確認された。