[論文レビュー] Weakly supervised CRNN system for sound event detection with large-scale unlabeled in-domain data

Dezhi Wang, Lilun Zhang+4 more|arXiv (Cornell University)|Nov 1, 2018

Music and Audio Processing被引用数 6

ひとこと要約

本稿では、音声イベント検出（SED）の性能向上を目的として、大規模なラベルなしドメイン内音声データを活用する弱教師付きCRNNシステムを提案する。事前学習済み音声タギングモデルを用いてラベルなしデータの疑似ラベルを生成し、ノイズの多いラベルの影響を軽減するアンサンブル戦略を適用することで、DCASE 2018 SEDチャレンジで21.0%のF1スコアを達成し、ベースライン比で10%の向上を示した。

ABSTRACT

Sound event detection (SED) is typically posed as a supervised learning problem requiring training data with strong temporal labels of sound events. However, the production of datasets with strong labels normally requires unaffordable labor cost. It limits the practical application of supervised SED methods. The recent advances in SED approaches focuses on detecting sound events by taking advantages of weakly labeled or unlabeled training data. In this paper, we propose a joint framework to solve the SED task using large-scale unlabeled in-domain data. In particular, a state-of-the-art general audio tagging model is first employed to predict weak labels for unlabeled data. On the other hand, a weakly supervised architecture based on the convolutional recurrent neural network (CRNN) is developed to solve the strong annotations of sound events with the aid of the unlabeled data with predicted labels. It is found that the SED performance generally increases as more unlabeled data is added into the training. To address the noisy label problem of unlabeled data, an ensemble strategy is applied to increase the system robustness. The proposed system is evaluated on the SED dataset of DCASE 2018 challenge. It reaches a F1-score of 21.0%, resulting in an improvement of 10% over the baseline system.

研究の動機と目的

• 音声イベント検出（SED）における強力な時系列ラベルの高コストなラベル付けを、大規模なラベルなしドメイン内音声データを活用することで軽減すること。
• 弱教師付きCRNNと疑似ラベル付きラベルなしデータを統合した共同学習フレームワークを構築し、SED性能の向上を図ること。
• 弱教師付きデータからのノイズの多い疑似ラベルの影響を、アンサンブル戦略により軽減することで、より高い耐性を確保すること。
• 実世界のSEDベンチマークにおいて、自己教師付き事前学習と自己トレーニングをドメイン内データで行う有効性を実証すること。

提案手法

• 大規模なラベルなしドメイン内音声データに対して、最先端の音声タギングモデルを用いて弱いラベルを予測する。
• 予測された疑似ラベルを用いて、弱教師付きCRNNアーキテクチャを訓練し、強力な時系列ラベルを用いた音声イベントの局所化を実現する。
• 複数のモデルにわたるアンサンブル戦略を適用し、ノイズの多い疑似ラベルの影響を低減するとともに、一般化性能を向上させる。
• 弱教師付きデータと元のラベル付き学習データセットの両方を用いて、CRNNのSED向けの共同最適化を実施する。
• CRNN出力と疑似ラベルの信頼度を統合したジョイント損失関数を用いて、エンドツーエンドでフレームワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 大規模なラベルなしドメイン内音声データを弱教師付き学習と組み合わせることで、SED性能を顕著に向上させることができるか？
• RQ2 事前学習済み音声タギングモデルからの疑似ラベル付けは、高コストな強力なアノテーションの必要性をどれほど低減できるか？
• RQ3 アンサンブル戦略は、弱教師付きSEDにおける疑似ラベルに起因するノイズをどの程度軽減できるか？
• RQ4 ラベル付きデータと疑似ラベル付きデータを共同で学習させることで、単独の教師あり学習に比べて一般化性能が向上するか？

主な発見

• 提案手法は、DCASE 2018音声イベント検出評価セットでF1スコア21.0%を達成した。
• ベースラインシステム比で10パーセンテージポイントの性能向上を示しており、本手法の有効性を裏付けている。
• 訓練プロセスにより多くのラベルなしデータを組み込むほど、システム性能が一貫して向上した。
• アンサンブル戦略は、音声タギングモデルから得られるノイズの多い疑似ラベルの処理において、特に耐性を高める効果を示した。