[論文レビュー] Segment-level Metric Learning for Few-shot Bioacoustic Event Detection

Haohe Liu, Xubo Liu+4 more|arXiv (Cornell University)|Jul 15, 2022

Animal Vocal Communication and Behavior被引用数 5

ひとこと要約

本論文は、トレーニング中にポジティブおよびネガティブな音声セグメントを同時に最適化することで、モデルの汎化性能を向上させる、少数ショット生体音声イベント検出のセグメントレベルのメトリック学習フレームワークを提案する。トランスductive推論を組み込み、トレーニングデータの91.3%を占めるネガティブイベントを活用することで、DCASE2022-T5のバリデーションセットで62.73のF-measureを達成し、ベースラインのプロトタイプネットワークを28.71ポイント上回り、コンテストで2位を獲得した。

ABSTRACT

Few-shot bioacoustic event detection is a task that detects the occurrence time of a novel sound given a few examples. Previous methods employ metric learning to build a latent space with the labeled part of different sound classes, also known as positive events. In this study, we propose a segment-level few-shot learning framework that utilizes both the positive and negative events during model optimization. Training with negative events, which are larger in volume than positive events, can increase the generalization ability of the model. In addition, we use transductive inference on the validation set during training for better adaptation to novel classes. We conduct ablation studies on our proposed method with different setups on input features, training data, and hyper-parameters. Our final system achieves an F-measure of 62.73 on the DCASE 2022 challenge task 5 (DCASE2022-T5) validation set, outperforming the performance of the baseline prototypical network 34.02 by a large margin. Using the proposed method, our submitted system ranks 2nd in DCASE2022-T5. The code of this paper is fully open-sourced at https://github.com/haoheliu/DCASE_2022_Task_5.

研究の動機と目的

• トレーニング中に未利用にされていたネガティブ音声セグメントを活用することで、少数ショット生体音声イベント検出の性能を向上させること。
• トレーニング中にラベルなしバリデーションデータを活用するトランスductive推論方式により、モデルの汎化性能を向上させること。
• 入力特徴量、埋め込み次元、データ拡張の影響が少数ショットSED性能に与える影響を調査すること。
• 複数のしきい値とポストプロセッシング設定を考慮することで、PSDSがF-measureよりも少数ショット音声検出に適した評価指標かどうかを評価すること。
• DCASE2022-T5ベンチマークで最先端の性能を達成する完全なオープンソースシステムの開発

提案手法

• 本手法は、Nウェイ-Mショット設定におけるエピソードトレーニングを採用したプロトタイプネットワークアーキテクチャを用い、各クラスからM個のセグメントをサポートおよびクエリセットとして使用する。
• 音声セグメントは、学習可能な特徴抽出器を用いて潜在空間に埋め込まれ、同じクラスの埋め込みの平均値からプロトタイプが形成される。
• 同じクラスのポジティブセグメント間の損失に加え、ポジティブとネガティブセグメント間の対照的損失も適用され、意思決定境界のロバスト性が向上する。
• トレーニング中にラベルなしバリデーションデータを用いて予測を精緻化し、モデルパラメータを繰り返し更新するトランスductive推論が適用される。
• 入力特徴量としてPCENとΔ-MFCCを用い、埋め込み次元を制御するためのアダプティブ平均プーリングを採用し、検出出力を精緻化するためのポストプロセッシングを実施する。
• ネガティブセグメントの使用、トランスductive推論、ポストプロセッシング、およびデータの組み合わせ（DCASE2022-T5 + AudioSet-SL）に関するアブレーションスタディが実施された。

実験結果

リサーチクエスチョン

• RQ1 メトリック学習においてこれまで未利用にされていたネガティブ音声セグメントを組み込むことで、少数ショット生体音声イベント検出性能が向上するか？
• RQ2 ラベルなしバリデーションデータを用いたトランスductive推論は、少数ショットSEDにおけるモデルの汎化性能を顕著に向上させるか？
• RQ3 入力特徴量の組み合わせ（例：PCEN + Δ-MFCC）の中で、DCASE2022-T5ベンチマークで最高のパフォーマンスを発揮するのはどれか？
• RQ4 ドメイン不一致データ（例：DCASE2022-T5とAudioSet-SL）を組み合わせることで、モデルのロバストネスと全体的なパフォーマンスにどのような影響を与えるか？
• RQ5 複数のしきい値とポストプロセッシング設定を考慮する点で、PSDSがF-measureよりも少数ショット音声検出に適した評価指標であるとされる根拠はあるか？

主な発見

• 提案手法は、DCASE2022-T5バリデーションセットで62.73のF-measureを達成し、ベースラインのプロトタイプネットワーク（34.02）を著しく上回った。
• 本システムはDCASE2022-T5コンテストで2位を達成し、未知の生体音声クラスに対する強力な汎化性能とロバストネスを示した。
• ネガティブセグメントの対照的損失を除去すると、F-measureは55.25に低下し、ネガティブイベントが性能に不可欠であることが示された。
• トランスductive推論を導入することで、F-measureは56.37から62.73に向上し、未知のクラスに適応する価値があることが明らかになった。
• PCENとΔ-MFCCを入力特徴量として使用した場合が、アブレーションスタディで最も優れたパフォーマンスを発揮した。
• DCASE2022-T5とAudioSet-SLのデータを組み合わせることで、PSDSは最高の58.77を記録したが、F-measureは低下した。これは、複数のしきい値にわたる汎化性能の向上を示唆している。