[論文レビュー] Guided multi-branch learning systems for sound event detection with sound separation

Yuxin Huang, Liwei Lin+6 more|arXiv (Cornell University)|Jul 21, 2020

Music and Audio Processing参考文献 5被引用数 6

ひとこと要約

本論文は、音声分離（SS）を統合し、多様なプーリング戦略と補助ブランチを用いた共有特徴エンコーダーを備えた、誘導付きマルチブランチ学習（MBL）システムを提案する。アテンションプーリング、グローバル平均/最大プーリング、および音声イベント検出ブランチを組み合わせることで、公開テストセットでF1スコア0.497、バリデーションセットで0.472を達成し、最先端の性能を実現した。SS-SEDシステムを統合した際のアンサンブルF1スコアは、それぞれ0.497および0.472であった。

ABSTRACT

In this paper, we describe in detail our systems for DCASE 2020 Task 4. The systems are based on the 1st-place system of DCASE 2019 Task 4, which adopts weakly-supervised framework with an attention-based embedding-level pooling module and a semi-supervised learning approach named guided learning. This year, we incorporate multi-branch learning (MBL) into the original system to further improve its performance. MBL uses different branches with different pooling strategies (including instance-level and embedding-level strategies) and different pooling modules (including attention pooling, global max pooling or global average pooling modules), which share the same feature encoder of the model. Therefore, multiple branches pursuing different purposes and focusing on different characteristics of the data can help the feature encoder model the feature space better and avoid over-fitting. To better exploit the strongly-labeled synthetic data, inspired by multi-task learning, we also employ a sound event detection branch. To combine sound separation (SS) with sound event detection (SED), we fuse the results of SED systems with SS-SED systems which are trained using separated sound output by an SS system. The experimental results prove that MBL can improve the model performance and using SS has great potential to improve the performance of SED ensemble system.

研究の動機と目的

• 弱教師あり、ラベルなし、および合成データを用いて音声イベント検出（SED）の性能を向上させること。
• 音声分離（SS）をSEDシステムに統合し、検出精度を向上させること。
• 共有エンコーダーを用いたマルチブランチ学習（MBL）により過学習を軽減し、特徴空間のモデリングを改善すること。
• マルチタスク学習の原則に従い、合成データをより効果的に活用するための専用SEDブランチを導入することで、強教師ありの合成データの利用を向上させること。
• 標準SEDシステムとSS-SEDシステムをアンサンブルモデルに統合した際の影響を評価すること。

提案手法

• 複数のブランチに共通の畳み込みニューラルネットワーク（CNN）特徴エンコーダーを用い、異なるプーリング戦略（埋め込みレベル：E-、インスタンスレベル：I-）を採用する。
• 各ブランチは、アテンションプーリング（ATP）、グローバル平均プーリング（GAP）、またはグローバル最大プーリング（GMP）といった異なるプーリングモジュールを採用し、多様な特徴抽出を可能にする。
• プロフェッショナルな教師モデル（PTモデル）と有望な学生モデル（PSモデル）が、ラベル付きデータと疑似ラベル付きデータを共同で学習する誘導学習フレームワークを適用する。
• ラベルなしデータに対しては、PSモデルがPTモデルからの疑似ラベルを用い、ウォームアップフェーズを経て、PSモデルの予測結果を用いてPTモデルの疑似ラベルを改善する。
• 強教師ありの合成データをより効果的に活用するため、マルチタスク学習の原則に従い、専用の音声イベント検出ブランチを導入する。
• 音声分離は、ベースラインSSシステムの出力に基づいてSEDモデルを学習させることで統合され、アンサンブルシステムで結果を統合することで全体の性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 多様なプーリング戦略を用いたマルチブランチ学習は、弱教師あり設定下での音声イベント検出性能を向上させることができるか？
• RQ2 アンサンブル学習を用いた場合、SEDシステムに音声分離を統合することで、測定可能な性能向上が得られるか？
• RQ3 SED用の補助ブランチを導入することで、弱教師ありフレームワーク下での合成データ（強教師あり）の活用が向上するか？
• RQ4 異なるプーリングモジュール（例：ATP、GAP、GMP）の組み合わせが、モデルの汎化性能およびロバストネスに与える影響は何か？
• RQ5 音声分離システムからの分離音声出力を用いることで、SEDアンサンブルシステムの性能が向上するか？

主な発見

• 標準SEDとSS-SEDモデルを統合したアンサンブルシステムは、公開テストセットでF1スコア0.495、バリデーションセットで0.472を達成し、SSを統合しないシステムを上回った。
• 最良の性能を示したアンサンブルシステム（SED-Ensemble（提出済み））は、公開テストセットでF1スコア0.497、バリデーションセットで0.467を達成した。
• アンサンブルから3つのSS-SEDモデルを実データで学習したモデルに置き換えたところ、性能が低下（テストセットでのF1：0.485）し、SS-SEDシステムが独自で補完的な特徴を提供していることが示された。
• ベースのE-ATPモデルに補助ブランチ（I-GMP、I-GAP）を追加することで性能が向上し、最良の個別モデル（E-ATP + I-GAP）はバリデーションセットでF1スコア0.451を達成した。
• 教師モデルと学生モデルからの疑似ラベルを用いた誘導学習により、ラベルなしデータの有効活用が可能となり、一般化性能の向上に寄与した。
• 結果から、アンサンブル学習を用いて音声分離とSEDを統合することで、システムのロバストネスと正確性が顕著に向上することが示された。