[論文レビュー] Multi-Task Learning for Interpretable Weakly Labelled Sound Event Detection

Soham Deshmukh, Bhiksha Raj+1 more|arXiv (Cornell University)|Aug 17, 2020

Music and Audio Processing参考文献 45被引用数 4

ひとこと要約

本論文は、時間周波数（T-F）再構成という補助タスクと2段階のアテンションプーリング機構を併用することで、弱教師あり音イベント検出（SED）のマルチタスク学習フレームワークを提案する。この手法により、内部のT-F表現のノイズ除去と解釈可能性の向上が図られ、SNR 0, 10, 20 dB の各条件下でベンチマーク比でそれぞれ22.3%、12.8%、5.9%の相対的F1スコア向上を達成した。

ABSTRACT

Weakly Labelled learning has garnered lot of attention in recent years due to its potential to scale Sound Event Detection (SED) and is formulated as Multiple Instance Learning (MIL) problem. This paper proposes a Multi-Task Learning (MTL) framework for learning from Weakly Labelled Audio data which encompasses the traditional MIL setup. To show the utility of proposed framework, we use the input TimeFrequency representation (T-F) reconstruction as the auxiliary task. We show that the chosen auxiliary task de-noises internal T-F representation and improves SED performance under noisy recordings. Our second contribution is introducing two step Attention Pooling mechanism. By having 2-steps in attention mechanism, the network retains better T-F level information without compromising SED performance. The visualisation of first step and second step attention weights helps in localising the audio-event in T-F domain. For evaluating the proposed framework, we remix the DCASE 2019 task 1 acoustic scene data with DCASE 2018 Task 2 sounds event data under 0, 10 and 20 db SNR resulting in a multi-class Weakly labelled SED problem. The proposed total framework outperforms existing benchmark models over all SNRs, specifically 22.3 %, 12.8 %, 5.9 % improvement over benchmark model on 0, 10 and 20 dB SNR respectively. We carry out ablation study to determine the contribution of each auxiliary task and 2-step Attention Pooling to the SED performance improvement. The code is publicly released

研究の動機と目的

• 強教師ありSEDのスケーラビリティとアノテーションコストの課題を、弱教師ありデータの活用によって解決すること。
• ノイズ環境下でもロバストで解釈可能な弱教師ありSEDモデルの性能向上を図ること。
• 補助的再構成タスクを通じて特徴表現を強化するマルチタスク学習フレームワークの構築。
• T-F表現における細粒度の時間的・周波数的情報を保持する2段階アテンションプーリング機構の導入。
• 可視化可能なアテンション重みを活用して、音声イベントの局所化と理解を向上させること。

提案手法

• SEDを主タスクとし、T-Fログメルスペクトログ램再構成を補助タスクとするマルチタスク学習問題として弱教師ありSEDを定式化する。
• 入力音声から階層的表現を抽出するため、2次元平均プーリングを施した共有エンコーダーを用い、その後に2段階アテンションプーリング機構を適用する。
• 最初の段階のアテンションプーリングで、すべての音声イベントにわたる注目領域（注目領域）を特定する。
• 2番目の段階のアテンションプーリングで、特定のイベントに適切に重みを割り当て、最終的なイベントレベルの予測を生成する。
• SEDにはバイナリクロスエントロピー損失、再構成には平均二乗誤差損失を用いて、エンドツーエンドでモデルを学習する。
• 共有エンコーダーの表現から入力ログメルスペクトログラムを再構成するデコーダーヘッドを活用し、内部表現のノイズ除去を強制する。

実験結果

リサーチクエスチョン

• RQ1 T-F再構成を補助タスクとするマルチタスク学習フレームワークは、ノイズ環境下における弱教師ありSEDのロバスト性と性能向上に寄与するか？
• RQ2 2段階アテンションプーリング機構は、時間周波数ドメインにおける解釈可能性と局所化精度をどのように向上させるか？
• RQ3 補助的再構成タスクは、内部T-F表現のノイズ除去とSED性能向上にどの程度寄与するか？
• RQ4 変動する信号対雑音比（SNR）の条件下で、本フレームワークは既存のベンチマークモデルと比較してどのように性能を発揮するか？
• RQ5 補助タスクから得られるノイズ除去済みT-F表現は、音声源分離などの後続タスクに活用可能か？

主な発見

• 本フレームワークは、SNR 0 dB 条件下でベンチマークモデル比22.3%の相対的F1スコア向上を達成した。
• SNR 10 dB 条件下では、F1スコアが12.8%相対的に向上し、ノイズ環境下でもロバストであることが示された。
• SNR 20 dB 条件下でも、F1スコアが5.9%相対的に向上し、高ノイズ環境下でも持続的な性能向上が確認された。
• アブレーションスタディの結果、2段階アテンションプーリング機構が性能向上の主因であり、補助再構成タスクよりも寄与度が高かった。
• 補助再構成タスクはF1スコアに約1%の向上をもたらし、内部表現のノイズ除去における役割が裏付けられた。
• アテンション重みの可視化結果から、モデルが実際のイベント発生時刻と持続時間と高い整合性を示して音声イベントを時間周波数ドメインで局所化していることが確認された。