[論文レビュー] Guided Learning Convolution System for DCASE 2019 Task 4

Liwei Lin, Xiangdong Wang+2 more|arXiv (Cornell University)|Sep 11, 2019

Music and Audio Processing参考文献 12被引用数 4

ひとこと要約

本論文では、弱教師ありおよび半教師あり音イベント検出のためのガイド付き学習畳み込みニューラルネットワークシステムを、家庭環境における弱教師ありラベル付きおよびラベルなしデータを用いて提示する。埋め込みレベルのアテンションプーリング、分離特徴学習、および適応的中央値フィルタリングを統合することで、モデルはDCASE2019テストセットで42.7%のイベントベースF1スコアを達成し、チャレンジ参加の全エントリーより優れた性能を示した。

ABSTRACT

In this paper, we describe in detail the system we submitted to DCASE2019 task 4: sound event detection (SED) in domestic environments. We employ a convolutional neural network (CNN) with an embedding-level attention pooling module to solve it. By considering the interference caused by the co-occurrence of multiple events in the unbalanced dataset, we utilize the disentangled feature to raise the performance of the model. To take advantage of the unlabeled data, we adopt Guided Learning for semi-supervised learning. A group of median filters with adaptive window sizes is utilized in the post-processing of output probabilities of the model. We also analyze the effect of the synthetic data on the performance of the model and finally achieve an event-based F-measure of 45.43% on the validation set and an event-based F-measure of 42.7% on the test set. The system we submitted to the challenge achieves the best performance compared to those of other participates.

研究の動機と目的

• 家庭環境における大規模音イベント検出の課題に、弱教師ありラベル付きおよびラベルなし音声データを用いて対処すること。
• 重複する音イベントを伴うアンバランスなデータセットにおいて、分離特徴学習によりモデル性能を向上させること。
• ガイド付き学習フレームワークを用いて、弱教師ありおよび半教師あり学習を効果的に統合すること。
• イベント継続時間の特性に基づいて境界検出精度を向上させる適応的後処理法を開発すること。
• 強教師ありラベル付き合成トレーニングセットのモデル一般化性能および性能への影響を評価すること。

提案手法

• 高レベル特徴からクリップレベルおよびフレームレベルの予測を生成するために、埋め込みレベルのアテンションプーリングを備えたCNNモデルを用い、弱教師あり学習を可能にする。
• アテンションメカニズムは、学習可能なベクトルとバイアスを用いてフレーム単位の重みを計算し、各イベントクラスの重要な音声フレームに注目できるようにする。
• 重複イベントからの干渉を低減するため、分離特徴学習を適用し、マルチイベント状況におけるモデルのロバスト性を向上させる。
• 半教師あり学習のため、ラベルなしデータを活用して一般化性能を向上させるためにガイド付き学習を採用する。
• イベント継続時間に応じて窓サイズを変化させる適応的中央値フィルタリングを出力確率に適用し、イベント境界検出の精度を向上させる。
• 合成トレーニングセットは弱教師ありラベル付きデータとして扱われ、性能への影響を評価するためにアブレーションスタディを通じて評価される。

実験結果

リサーチクエスチョン

• RQ1 タイムスタンプのラベルなし弱教師あり音声データから、深層学習モデルがどのように効果的に学習できるか？
• RQ2 重複する音イベントを伴うアンバランスなデータセットにおいて、モデル性能をどのように向上させられるか？
• RQ3 ガイド付き学習が、弱教師ありおよびラベルなしデータを効果的に統合し、半教師ありSEDの性能を向上させられるか？
• RQ4 窓サイズを変化させる中央値フィルタリングを用いた適応的後処理は、継続時間が異なるイベントにおいて境界検出精度を向上させるか？
• RQ5 強教師ありラベル付きの合成トレーニングセットを含めることで、弱教師ありまたは半教師あり設定での性能が向上するか？

主な発見

• 提案されたシステムは、DCASE2019テストセットで42.7%のイベントベースF1スコアを達成し、チャレンジで第1位を獲得した。
• 上位6モデルのアンサンブル（Ensemble Top1-6）は、ベースライン比で21.73ポイントの性能向上を達成した。
• 弱教師ありおよびラベルなしデータの両方を用いたガイド付き学習を適用したモデルは、弱教師ありデータのみを用いたモデルよりも20.67ポイントの性能向上を達成した。
• 合成トレーニングセットは、弱教師あり学習単体では効果を示さなかったが、半教師あり学習と組み合わせるとF1スコアを5〜8ポイント向上させ、顕著な性能向上を示した。
• 分離特徴学習や固定窓サイズの中央値フィルタリングを除去すると性能が低下し、これらが有効であることが確認された。
• モデルはYouTubeデータセットでは最高の性能を達成したが、Vimeoでは性能が劣り、ピッチシフトなどのデータ拡張が有益である可能性を示唆した。