[論文レビュー] SeCoST: Sequential Co-Supervision for Weakly Labeled Audio Event Detection

Anurag Kumar, Vamsi Krishna Ithapu|arXiv (Cornell University)|Oct 25, 2019

Music and Audio Processing参考文献 19被引用数 7

ひとこと要約

SeCoST は、連続する学生-教師ペairを介した知識蒸留を活用することで、弱教師付き音声イベント検出を向上させる順次的共同教師付きフレームワークを提案する。AudioSet からの弱教師付きデータを繰り返し精練することで、SeCoST は平均平均精度（mAP）0.383 を達成し、先行する最先端手法を顕著に上回る性能を発揮する。

ABSTRACT

Weakly supervised learning algorithms are critical for scaling audio event detection to several hundreds of sound categories. Such learning models should not only disambiguate sound events efficiently with minimal class-specific annotation but also be robust to label noise, which is more apparent with weak labels instead of strong annotations. In this work, we propose a new framework for designing learning models with weak supervision by bridging ideas from sequential learning and knowledge distillation. We refer to the proposed methodology as SeCoST (pronounced Sequest) --- Sequential Co-supervision for training generations of Students. SeCoST incrementally builds a cascade of student-teacher pairs via a novel knowledge transfer method. Our evaluations on Audioset (the largest weakly labeled dataset available) show that SeCoST achieves a mean average precision of 0.383 while outperforming prior state of the art by a considerable margin.

研究の動機と目的

• 最小限の人為的アノテーションデータで、数百の音声カテゴリにスケーリング可能な音声イベント検出の課題に対処すること。
• 強教師付き代替手法と比較して、弱教師付きデータセットに内在するラベルノイズに対する耐性を高めること。
• 段階的にモデル性能を向上させるために、キャスケードされた学生-教師知識移行を活用する学習フレームワークを設計すること。
• 弱教師付きのラベルのみを用いて、重複するか曖昧な音声イベントの区別を効果的に行えるようにすること。
• 弱教師付きラベルのみを用いて、大規模な Audioset データセットで最先端の性能を達成すること。

提案手法

• 知識蒸留を介して徐々に精錬された教師モデルから得た知識を用いて、連鎖的に訓練される学生モデルのカスケードを学習する順次的共同教師付きメカニズムを導入する。
• 学生ネットワークと教師ネットワークの予測を一致させる新しい知識移転手法を適用し、弱教師付き環境下での一般化性能を向上させる。
• 音声シーケンスの時間的構造を活用して共同教師付き学習をガイドし、音声イベントの時間的局所化を向上させる。
• クリップレベルのラベルのみが利用可能な Audioset からの弱教師付きデータを用いて、エンドツーエンドでモデルを訓練する。
• 直前の教師モデルの予測結果をソフトな監督信号として用いて、学生モデルを段階的に精錬する。
• 信頼度ベースのフィルタリングと一貫性正則化を用いて、訓練中にノイズの多い弱教師付きラベルの影響を低減する。

実験結果

リサーチクエスチョン

• RQ1 知識蒸留を用いた順次的共同教師付き学習は、標準的な弱教師付きベースラインと比較して、弱教師付き音声イベント検出の性能を向上させることができるか？
• RQ2 キャスケードされた学生-教師訓練プロセスは、弱教師付きデータセットにおけるラベルノイズに対するモデルの耐性にどのように影響するか？
• RQ3 複数世代の教師モデルからの知識蒸留は、時間的局所化精度をどの程度向上させることができるか？
• RQ4 提案手法は、Audioset のような大規模な弱教師付きデータセットにおける多様な音声カテゴリに効果的に一般化できるか？
• RQ5 同じ弱教師付き信号を用いた場合、順次的精錬プロセスは単一段階の学習を上回る性能を発揮できるか？

主な発見

• SeCoST は Audioset データセットで平均平均精度（mAP）0.383 を達成し、弱教師付き音声イベント検出分野における新たな最先端性能を確立した。
• 本手法は、先行する最先端手法を顕著に上回り、弱教師付き環境下での順次的共同教師付き学習の有効性を実証した。
• キャスケードされた学生-教師訓練プロセスにより、特に曖昧または重複する音声イベントの状況において、ラベルノイズに対するモデルの耐性が向上した。
• 複数世代のモデルからの知識蒸留は、単一段階の学習と比較して、より優れた一般化性能と向上した局所化精度を実現した。
• 本研究で提案されたフレームワークは、強化アノテーションを一切必要とせず、弱教師付きデータを効果的に活用でき、数百のカテゴリにわたるスケーラブルな音声イベント検出を可能にした。
• 順次的精錬メカニズムにより、段階的な性能向上が実現され、各段階の学生モデルが直前のモデルを上回る mAP と局所化の一貫性を達成した。