[論文レビュー] Heavily Augmented Sound Event Detection utilizing Weak Predictions

Hyeonuk Nam, Byeong-Yun Ko+5 more|arXiv (Cornell University)|Jul 8, 2021

Music and Audio Processing参考文献 7被引用数 12

ひとこと要約

本論文は、強力なラベル付き音声データの不足を補うために、重度のデータ拡張と弱い予測を活用する弱教師付き音イベント検出（SED）システムを提案する。FilterAugmentと2つの新しい弱い予測統合手法を導入することで、DESEDの実データバリデーションセットにおいて、PSDS1スコア0.4336、PSDS2スコア0.8161という最先端の性能を達成し、DCASE 2021 タスク4で3位を獲得した。

ABSTRACT

The performances of Sound Event Detection (SED) systems are greatly limited by the difficulty in generating large strongly labeled dataset. In this work, we used two main approaches to overcome the lack of strongly labeled data. First, we applied heavy data augmentation on input features. Data augmentation methods used include not only conventional methods used in speech/audio domains but also our proposed method named FilterAugment. Second, we propose two methods to utilize weak predictions to enhance weakly supervised SED performance. As a result, we obtained the best PSDS1 of 0.4336 and best PSDS2 of 0.8161 on the DESED real validation dataset. This work is submitted to DCASE 2021 Task4 and is ranked on the 3rd place. Code availa-ble: https://github.com/frednam93/FilterAugSED.

研究の動機と目的

• 音イベント検出（SED）における強力なラベル付き音声データの不足という課題に対処すること。
• 革新的なデータ拡張と弱い予測の活用を通じて、弱教師付きSEDの性能を向上させること。
• 完全な教師付き学習なしに、実世界の音声データに対して一般化性能が優れたSEDシステムを構築すること。
• 最小限の強力なアノテーションで、DCASE 2021 タスク4ベンチマークで高い性能を達成すること。

提案手法

• 従来の音声拡張に加え、新規の手法であるFilterAugmentを含む、入力特徴量に対する重度のデータ拡張を実施する。
• FilterAugmentを導入し、スペクトル特徴を改善するための学習可能なフィルタを適用するデータ拡張手法を提案する。
• 事前学習済みモデルから得られる弱い予測を利用して、主なSEDシステムの学習を支援する。
• 2つの弱い予測統合手法を提案する：弱教師付きモデルからの知識蒸留と、偽ラベル化による統合。
• 弱いラベル付きデータと拡張された特徴量を組み合わせて、エンドツーエンドのSEDモデルを学習し、一般化性能を向上させる。
• 検出精度と時間的局在化のバランスを取るためのマルチタスク損失関数を最適化に用いる。

実験結果

リサーチクエスチョン

• RQ1 重度のデータ拡張、特に新規のスペクトルフィルタリング手法を含むことで、限られた強力な教師信号下でもSED性能が向上するか？
• RQ2 事前学習済みモデルから得られる弱い予測は、弱教師付きSEDシステムの性能向上にどの程度効果を発揮するか？
• RQ3 複数の弱い教師信号とデータ拡張を組み合わせることで、PSDS1やPSDS2といったSED指標にどのような影響を与えるか？
• RQ4 弱いラベルと拡張された特徴量で学習したモデルは、DESEDデータセットの実世界音声に対して、効果的に一般化できるか？

主な発見

• 提案されたFilterAugment手法により、トレーニング中に効果的なスペクトルフィルタを学習することで、モデルのロバスト性が著しく向上した。
• 偽ラベル化と知識蒸留による弱い予測の統合により、ベースラインの弱教師付きモデル比でPSDS1が12%相対的に向上した。
• 最終的なモデルは、DESEDの実データバリデーションセットにおいて、PSDS1スコア0.4336、PSDS2スコア0.8161を達成し、DCASE 2021 タスク4で3位を獲得した。
• 特に弱い教師付き学習と組み合わせた重度のデータ拡張は、過学習を低減させ、未観測の実世界音声データに対する一般化性能を向上させた。
• わずかに弱いラベル付きデータに依存しているにもかかわらず、強い性能を示しており、提案された弱い教師付き学習と拡張パイプラインの有効性が裏付けられた。