[論文レビュー] Intel Labs at Ego4D Challenge 2022: A Better Baseline for Audio-Visual Diarization

Kyle Min|arXiv (Cornell University)|Oct 14, 2022

Speech and Audio Processing被引用数 4

ひとこと要約

本論文は、スペクトログ램上でResNet-18を refined トレーニングスキームで訓練し、カメラ被写体（CW）の音声活動検出（VAD）を向上させることで、エゴセントリック動画における音声・視覚的ダイアライゼーションの優れたベースラインを提示する。その後、オフザシェルのVADモデル（Silero）をポストプロセッサとして適用し、CWの音声における誤検出を低減し、最先端のASDモデル（SPELL）を活用してより良いアクティブスピーカー検出を実現する。この手法はEgo4Dテストセットで65.9%のダイアライゼーション誤り率（DER）を達成し、ベースラインを大きく上回り、2022年のコンテストで1位を獲得した。

ABSTRACT

This report describes our approach for the Audio-Visual Diarization (AVD) task of the Ego4D Challenge 2022. Specifically, we present multiple technical improvements over the official baselines. First, we improve the detection performance of the camera wearer's voice activity by modifying the training scheme of its model. Second, we discover that an off-the-shelf voice activity detection model can effectively remove false positives when it is applied solely to the camera wearer's voice activities. Lastly, we show that better active speaker detection leads to a better AVD outcome. Our final method obtains 65.9% DER on the test set of Ego4D, which significantly outperforms all the baselines. Our submission achieved 1st place in the Ego4D Challenge 2022.

研究の動機と目的

• カメラ被写体が通常可視でないエゴセントリック動画におけるダイアライゼーションの課題に対処し、その音声を音声のみで信頼性高く検出すること。
• 音声ベースのVADモデルのトレーニングスキームを変更することで、カメラ被写体の音声活動検出を向上させ、mAPを72.0%から80.4%に向上させること。
• オフザシェルVADモデルがポストプロセッサとして使用された場合、特にカメラ被写体の音声における誤検出をフィルタリングする際に、ダイアライゼーション性能が向上するかを調査すること。
• 改善されたアクティブスピーカー検出（ASD）が、直接的により良い全体のAVD性能につながることを実証すること。これは、公式のEgo4Dベースラインでは示されていない関係である。
• Ego4D 2022 AVDコンテストで最先端の性能を達成し、テストセットで65.9%のDERを記録する1位の提出を果たすこと。

提案手法

• 5msの音声フレームのログスケールスペクトログラム（0–4000 Hz）を用いて、2次元のResNet-18を訓練し、0.32秒の時間ウィンドウを用いてカメラ被写体の音声活動を検出する。この際、mAPを72.0%から80.4%に向上させるために、訓練スキームを変更した。
• オフザシェルのVADモデル（Silero、バージョン3.1）を、カメラ被写体の予測音声セグメントにのみ適用するポストプロセッサとして使用し、誤検出を効果的に低減し、最終的なダイアライゼーション性能を4%以上向上させた。
• アクティブスピーカー検出（ASD）部には、最先端のSPELLモデルを採用した。これは、従来のベースラインと比較して、ASDのmAPと下流のAVD性能の両方を顕著に向上させることを示した。
• フレームワークは顔検出、音声・視覚的発話セグメンテーション、音声埋め込み分析を統合しており、カメラ被写体のVADおよびポストプロセス出力を用いて、スピーカー交代の境界を精緻に修正する。
• ポストプロセッシングでは、Silero VADをカメラ被写体の出力にのみ適用している。これは、他のスピーカーの検出には低SNRのため効果がなく、逆に悪影響を及ぼす可能性があるためである。
• 全トレーニングパイプラインは、1台のTITAN V GPUで1時間未満で実行可能であり、Adam最適化法を用い、固定された5×10⁻⁴の学習率と0.5のドロップアウト率を採用している。

実験結果

リサーチクエスチョン

• RQ1 スペクトログラム上でResNet-18を用いたVADモデルの訓練スキームを変更することで、エゴセントリック動画におけるカメラ被写体の音声活動検出性能を顕著に向上させられるか？
• RQ2 オフザシェルVADモデルをカメラ被写体の音声出力にポストプロセッサとして適用することで、誤検出を低減し、全体のAVD性能を向上させられるか？
• RQ3 改善されたアクティブスピーカー検出（ASD）性能と、Ego4Dデータセットにおけるより良い音声・視覚的ダイアライゼーションの結果との間に、直接的かつ測定可能な相関関係があるか？
• RQ4 なぜオフザシェルVADモデルのポストプロセッシングは、カメラ被写体の出力に対してのみ効果を発揮し、他のスピーカーの検出には効果がないのか？
• RQ5 SPELLのようなより優れたASDモデルを用いることで、Ego4Dベンチマークにおいて従来のベースラインと比較して、AVD性能に顕著な向上をもたらすことができるか？

主な発見

• カメラ被写体のVADモデルに対する訓練スキームの変更により、検証セットでのmAPが72.0%から80.4%に上昇し、検出の信頼性が顕著に向上した。
• カメラ被写体の音声出力にSilero VADモデルをポストプロセッサとして適用することで、ダイアライゼーション誤り率（DER）が4%以上低減され、検証セットで66.6%のDERを達成した。
• SPELLモデルをASDに用いることで、mAP@0.5が60.7%に上昇し、検証セットで66.6%のDERを記録した。これは、従来のベースラインと比較して顕著な性能向上を示した。
• 最終的な手法は、Ego4Dテストセットで65.9%のDERを達成し、TalkNetを用いたベースラインと比較して7.4ポイントの改善を示し、コンテストで1位を獲得した。
• 本研究では、より良いASD性能が直接的により良いAVD結果をもたらすという関係が、実証的に確認された。これは、公式のEgo4Dベースラインでは示されていなかった関係である。
• オフザシェルVADモデルのポストプロセッシングは、視覚的ヒントのない遠方または低エネルギーのスピーカーに対しては効果がなく、カメラ被写体の出力にのみ効果を発揮することが分かった。