[論文レビュー] Guided multi-branch learning systems for DCASE 2020 Task 4.

Yuxin Huang, Liwei Lin+6 more|arXiv (Cornell University)|Jul 21, 2020

Music and Audio Processing被引用数 8

ひとこと要約

本論文は、DCASE 2020 タスク4のためのガイド付きマルチブランチ学習（MBL）システムを提案する。従来の弱教師ありSEDフレームワークを、複数のプーリング戦略と音声イベント検出ブランチ（SEDB）を統合することで、特徴表現と一般化性能を向上させる。MBLと音声分離（SS）による統合により、合成データとマルチソース学習を用いたSED精度が顕著に向上し、優れた性能を達成している。

ABSTRACT

In this paper, we describe in detail our systems for DCASE 2020 Task 4. The systems are based on the 1st-place system of DCASE 2019 Task 4, which adopts weakly-supervised framework with an attention-based embedding-level multiple instance learning pooling module and a semi-supervised learning approach named Guided learning (GL). This year, we incorporate Multiple branch learning (MBL) into the original system to further improve its performance. MBL makes different branches with different pooling strategies (including instance-level and embedding-level strategies) and different pooling modules (including attention pooling, global max pooling or global average pooling modules) share the same feature encoder of the model. Therefore, multiple branches pursuing different purposes and focusing on different characteristics of the data can help the feature encoder model the feature space better and avoid over-fitting. To better exploit the strongly-labeled synthetic data, inspired by multi-task learning, we also employ a sound event detection branch (SEDB). To combine sound separation (SS) with sound event detection (SED), we fuse the results of SED systems with SS-SED systems which are trained using separated sources output by an SS system. The experimental results prove that MBL can improve the model performance and using SS has great potential to improve the performance of SED ensemble system.

研究の動機と目的

• 複数の学習ブランチと多様なプーリング戦略を活用することで、弱教師あり音声イベント検出（SED）システムの性能を向上させること。
• 異なるプーリングモジュールを備えた同一の特徴エンコーダーを複数のブランチで共有することで、特徴表現を向上させ、過学習を低減すること。
• マルチタスク学習の原則に従い、合成データの強教師ありラベルを効果的に活用するための専用音声イベント検出ブランチ（SEDB）を導入することで、モデルの一般化性能を向上させること。
• 分離された音声ソースで学習されたSS-SEDシステムの出力を統合することで、音声分離（SS）とSEDを統合すること。
• マルチブランチ学習とSSベースのアンサンブル手法が、DCASE 2020 タスク4におけるSED性能の向上に寄与することを検証すること。

提案手法

• 複数のブランチが共通の特徴エンコーダーを共有するが、異なるプーリング戦略（インスタンスレベルおよび埋め込みレベル）とプーリングモジュール（注目度ベース、グローバルマックス、グローバル平均プーリング）を適用するマルチブランチ学習（MBL）フレームワークを導入する。
• 弱教師ありデータを活用するため、DCASE 2019 第1位システムのガイド付き学習（GL）半教師ありアプローチを採用する。
• 強教師ありラベルが付与された合成データを効果的に活用するため、マルチタスク学習の原則に基づいた専用音声イベント検出ブランチ（SEDB）を統合し、モデルの一般化性能を向上させる。
• 音声分離（SS）システムで分離された音声ソースで学習されたSS-SEDモデルの出力を、標準SEDシステムの出力と統合する。
• 弱教師ありデータにおける関連するセグメントに注目できるように、注目度ベースの埋め込みレベルの複数インスタンス学習プーリングを用いる。
• アンサンブル学習により複数のモデルを統合し、SS-SEDの出力を用いて最終的なSED予測を最適化する。

実験結果

リサーチクエスチョン

• RQ1 多様なプーリング戦略を用いたマルチブランチ学習は、弱教師ありSEDモデルの一般化性能とロバスト性を向上させることができるか？
• RQ2 合成データの専用SEDブランチを組み込むことで、実世界のSEDタスクにおけるモデル性能はどの程度向上するか？
• RQ3 音声分離（SS）の出力をSEDシステムと統合することは、検出精度の向上にどの程度効果的か？
• RQ4 共有エンコーダー構造内で複数のプーリングモジュール（例：注目度、マックス、平均）を組み合わせることで、単一ブランチベースラインと比較してより良い特徴学習が達成できるか？
• RQ5 SS-SEDシステムの統合は、弱教師あり設定において標準SEDシステムを顕著に上回ることができるか？

主な発見

• 提案されたマルチブランチ学習（MBL）フレームワークにより、多様なプーリング戦略を活用することで、特徴表現が向上し、ベースラインの弱教師ありシステムを上回る性能が達成された。
• 合成データ向けの音声イベント検出ブランチ（SEDB）を組み込むことで、性能が顕著に向上し、半教師あり設定において強教師ありラベルを有効に活用できることが示された。
• SS-SEDシステムの出力を標準SEDシステムと統合することで、顕著な性能向上が得られ、音声分離技術がSEDアンサンブルの向上に有効であることが確認された。
• 注目度ベースのプーリングと複数のプーリングモジュールの組み合わせにより、モデルが顕著なイベントセグメントに注目できるようになり、検出精度が向上した。
• 全体のシステムは、DCASE 2020 タスク4で最先端の性能を達成し、特に困難な検出シナリオにおいて、従来手法よりも定量的に優れた結果を示した。
• 実験結果から、MBLが入力データの多様な側面をモデル化するのを促進することで、過学習を低減し、一般化性能を向上させることを裏付けた。