[論文レビュー] Proposal-based Few-shot Sound Event Detection for Speech and Environmental Sounds with Perceivers

Piper Wolters, Sizemore, Logan+3 more|arXiv (Cornell University)|Jul 28, 2021

Music and Audio Processing参考文献 39被引用数 9

ひとこと要約

本論文は、長時間の音声記録におけるレアまたは未知の音声イベントの局所化と分類を向上させるために、Perceiverアーキテクチャを用いたプロポーザルベースの少数-shot音声イベント検出フレームワークを提案する。5-shot 5-wayタスクにおいて、新しいESC-CASEおよびVox-CASEデータセットでそれぞれ0.483および0.418のSOTA F1スコアを達成し、ベースライン手法を相対的に72.5%および11.2%上回った。

ABSTRACT

Many applications involve detecting and localizing specific sound events within long, untrimmed documents, including keyword spotting, medical observation, and bioacoustic monitoring for conservation. Deep learning techniques often set the state-of-the-art for these tasks. However, for some types of events, there is insufficient labeled data to train such models. In this paper, we propose a region proposal-based approach to few-shot sound event detection utilizing the Perceiver architecture. Motivated by a lack of suitable benchmark datasets, we generate two new few-shot sound event localization datasets: "Vox-CASE," using clips of celebrity speech as the sound event, and "ESC-CASE," using environmental sound events. Our highest performing proposed few-shot approaches achieve 0.483 and 0.418 F1-score, respectively, with 5-shot 5-way tasks on these two datasets. These represent relative improvements of 72.5% and 11.2% over strong proposal-free few-shot sound event detection baselines.

研究の動機と目的

• 新しい音声クラスのラベル付きデータが限られる少数-shot音声イベント検出の課題に対処すること。
• 固定ウィンドウ予測の代わりに領域プロポーザルを用いることで、長時間で未トリムされた音声における局所化精度を向上させること。
• 少数-shot音声表現学習におけるPerceiverアーキテクチャの有効性を評価すること。
• エピソードベースの少数-shot音声イベント局所化のための2つの新規ベンチマークデータセット—ESC-CASEおよびVox-CASE—を構築し、公開すること。
• 特に低データ環境下における、プロポーザルベースとウィンドウレベルのアプローチの比較を行うこと。

提案手法

• 2段階フレームワークを提案：まず領域プロポーザルネットワーク（RPN）を用いて候補領域を生成し、次にPerceiverベースの分類器でそれを精緻化・分類する。
• 長距離音声表現に対するアテンションを可能にするためにPerceiverアーキテクチャを用い、特徴集約のための従来のRoIプーリングに代わる。
• 少数-shot分類のためのプロトタイプネットワークを採用し、サポートセットからのクラスごとのプロトタイプとしてクラス埋め込みを計算する。
• 同じ予測クラスを持つ連続フレームをグループ化し、信頼度スコアを平均化することで、ウィンドウレベルの予測をプロポーザルに類似した領域にマッピングする。
• エピソードベースの学習と推論を用いてモデルを評価し、N-way K-shotタスクを用いて少数-shotシナリオをシミュレートする。
• 2つの新規ベンチマークデータセット—ESC-CASE（環境音）およびVox-CASE（有名人の発話）—を生成した。

実験結果

リサーチクエスチョン

• RQ1 プロポーザルベースのアプローチは、ウィンドウレベルモデルを上回る性能を示せるか？
• RQ2 Perceiverアーキテクチャを統合することで、標準的な特徴抽出手法と比較して、少数-shot音声イベント検出の性能が向上するか？
• RQ3 イベントと背景ノイズの音響的類似性が性能に与える影響は何か？
• RQ4 ショット数（例：5-shot対10-shot）が少数-shot環境下での検出性能に与える影響は何か？
• RQ5 特にリファインメントヘッドとPerceiverといったモデル部品が、局所化精度にどのように寄与しているか？

主な発見

• Perceiverを統合した提案ベースのモデルは、ESC-CASEデータセットでウィンドウレベルベースラインを相対的に72.5%上回り、F1スコアは0.483を達成した。
• Vox-CASEデータセットでは、モデルはベースラインを相対的に11.2%上回り、5-shot 5-wayタスクでF1スコア0.418を達成した。
• RPNの後に配置されたリファインメント層はAPを顕著に向上させたことから、正確な局所化にはリファインメントが不可欠であることが示された。
• イベント対背景エネルギー比（EBR）が高いほど性能が向上し、ESC-CASEではVox-CASEよりもPerceiverの恩恵が顕著に現れた。これは、ESC-CASEではイベントと背景の音響的類似性が高いためと考えられる。
• ウィンドウレベルベースラインはVox-CASEで高いF1スコアを達成しており、音響的に明確に区別できるイベントでは、ウィンドウレベル手法が十分である可能性を示唆している。
• イベントと背景の区別が困難な状況では、Perceiverモジュールが性能向上に最も寄与しており、複雑な音響環境下での価値が裏付けられた。