[論文レビュー] Few-shot bioacoustic event detection at the DCASE 2023 challenge

Inês Nolasco, Burooj Ghani+13 more|arXiv (Cornell University)|Jun 15, 2023

Animal Vocal Communication and Behavior被引用数 6

ひとこと要約

本論文は、2023年DCASE少サンプル生物音声イベント検出チャレンジを提示する。このチャレンジでは、各ターゲットクラスに対して5例のラベル付き例のみを用いて動物の発声を検出するシステムを評価する。本研究では、プロトタイプネットワーク、対照的学習、BEATsベースのモデルといった多様な少サンプル学習手法を評価し、最高で63%のFスコアを達成した。これは前年比で顕著な進歩を示している。

ABSTRACT

Few-shot bioacoustic event detection consists in detecting sound events of specified types, in varying soundscapes, while having access to only a few examples of the class of interest. This task ran as part of the DCASE challenge for the third time this year with an evaluation set expanded to include new animal species, and a new rule: ensemble models were no longer allowed. The 2023 few shot task received submissions from 6 different teams with F-scores reaching as high as 63% on the evaluation set. Here we describe the task, focusing on describing the elements that differed from previous years. We also take a look back at past editions to describe how the task has evolved. Not only have the F-score results steadily improved (40% to 60% to 63%), but the type of systems proposed have also become more complex. Sound event detection systems are no longer simple variations of the baselines provided: multiple few-shot learning methodologies are still strong contenders for the task.

研究の動機と目的

• 極めて少ないラベル付きデータで希少または新規の動物発声を検出する課題に対処する。
• 生物音声研究におけるデータ不足とアノテーションの負担を軽減し、少数の例から一般化できるモデルを可能にする。
• 少サンプル学習パラダイムが、異なるデータセットおよび異なる種の間で生物音声イベント検出にどの程度有効であるかを評価する。
• 新しいアーキテクチャとトレーニング戦略の導入と評価を通じて、音声分野における少サンプル学習の最先端技術を前進させる。
• 多様な音響環境、種、録音条件においてモデルの一般化性能を評価する。

提案手法

• 推論時に各ターゲットクラスに対してk=5の例が提供されるN-way-k-shot分類を採用し、モデルの適応を実施する。
• 鳥類、哺乳類、両生類、昆虫を含む14の多様なデータセットをカバーする統一されたトレーニング戦略を採用し、各データセットには独自の録音条件が存在する。
• スケーリング/エクスパンション（SE）ブロックやネガティブサンプル探索を導入した変更を加えたプロトタイプネットワークを実装し、プロトタイプ学習を向上させる。
• 正例と負例のペア間の分離を最大化することで、判別性の高い埋め込みを学習するため、対照的学習を採用する。
• 低リソースデータにおける表現学習を向上させるために、事前学習済みの音声トランスフォーマーであるBEATsを特徴エンコーダーとして利用する。
• 時間的整合性に基づいて、学習済み埋め込みに対してテンプレートマッチングと動的時間ワープ（DTW）を適用し、イベント発生を検出する。

Figure 1: Overview of the proposed few-shot bioacoustic event detection task at the DCASE challenge. Green and purple rectangles represent labelled and predicted events, respectively.

実験結果

リサーチクエスチョン

• RQ1 各クラスに対して5例のサンプルしか与えられない状況下で、異なる少サンプル学習手法の生物音声イベント検出性能はどの程度か？
• RQ2 最小限のコンテキスト内適応で、1つの統一モデルが多様な動物種や録音条件にどの程度一般化できるか？
• RQ3 SEブロック、対照的学習、事前学習エンコーダーといったアーキテクチャ選択が、少サンプル検出性能にどのように影響するか？
• RQ4 入力特徴（例：デルタMFCC、PCEN）の選択が、生物音声検出における少サンプル学習に果たす役割は何か？
• RQ5 Fスコア全体の向上にもかかわらず、なぜQUデータセット（イルカのクーカー）は一貫して困難なままであるのか？

主な発見

• 最高性能を示したシステムは、評価セットで63%のFスコアを達成し、2022年の60%、2021年の40%と比較して顕著な改善を示した。
• 対照的学習が強力なアプローチとして浮上し、Moummad_IMTのシステムでは、微調整された埋め込みと埋め込み空間内でのバイナリ分類が採用された。
• XuQianHu_NUDTのモデルにSEブロックを組み込むことで、チャネル単位の特徴再キャリブレーションが可能になり、ベースラインのプロトタイプネットワーク比で性能が向上した。
• BEATsベースのモデルは強力な一般化可能性を示し、ECS50データセットでの微調整により、下流の検出に適した埋め込み品質が向上した。
• QUデータセット（イルカのクーカー）は依然として最も困難であり、すべてのチームが低Fスコアを記録した。これは、イベント継続時間が短く、ノイズが強いことが要因であると示唆された。
• ネガティブサンプル探索や新規損失関数（例：Jung_KTのネガティブベースのプロトタイプ損失）を採用したシステムは、少サンプル学習におけるクラス不均衡へのロバスト性が向上した。

Figure 2: F-Score results by team (best submission only). Systems are ordered from least to highest scoring rank on the evaluation set.