[論文レビュー] Self-training with noisy student model and semi-supervised loss function for dcase 2021 challenge task 4

Nam Kyun Kim, Hong Kook Kim|arXiv (Cornell University)|Jul 6, 2021

Music and Audio Processing参考文献 14被引用数 10

ひとこと要約

本論文は、DCASE 2021 Challenge タスク4における多音性音イベント検出（SED）のための2段階自己学習フレームワークを提案する。最初の段階で、平均教師（mean-teacher）モデルを用いて弱教師ありおよびラベルなしデータのための偽ラベルを生成し、2番目の段階でデータ拡張と半教師あり損失関数を用いて訓練されるノイジィーストゥーデント（noisy student）モデルを用いる。反復的精錬とアンサンブルモデリングを通じて優れた性能を達成し、リソースが限られたSED環境において偽ラベル付けとノイズ注入の有効性を示している。

ABSTRACT

This report proposes a polyphonic sound event detection (SED) method for the DCASE 2021 Challenge Task 4. The proposed SED model consists of two stages: a mean-teacher model for providing target labels regarding weakly labeled or unlabeled data and a self-training-based noisy student model for predicting strong labels for sound events. The mean-teacher model, which is based on the residual convolutional recurrent neural network (RCRNN) for the teacher and student model, is first trained using all the training data from a weakly labeled dataset, an unlabeled dataset, and a strongly labeled synthetic dataset. Then, the trained mean-teacher model predicts the strong label to each of the weakly labeled and unlabeled datasets, which is brought to the noisy student model in the second stage of the proposed SED model. Here, the structure of the noisy student model is identical to the RCRNN-based student model of the mean-teacher model in the first stage. Then, it is self-trained by adding feature noises, such as time-frequency shift, mixup, SpecAugment, and dropout-based model noise. In addition, a semi-supervised loss function is applied to train the noisy student model, which acts as label noise injection. The performance of the proposed SED model is evaluated on the validation set of the DCASE 2021 Challenge Task 4, and then, several ensemble models that combine five-fold validation models with different hyperparameters of the semi-supervised loss function are finally selected as our final models.

研究の動機と目的

• 多音性音イベント検出（SED）における強教師ありデータの限界を補うために、弱教師ありおよびラベルなしデータを活用すること。
• 平均教師とノイジィーストゥーデントのフレームワークを統合した2段階トレーニングパイプラインを用いてSED性能を向上させること。
• データ拡張と半教師あり損失関数の有効性を、弱教師ありSEDにおける偽ラベルの精錬にどのように効果的に活用できるかを調査すること。
• 残差畳み込み再帰ニューラルネットワーク（RCRNN）を用いた堅牢なモデルアーキテクチャを構築し、時間的および周波数的モデリングを向上させること。
• 半教師あり損失関数の複数のハイパーパramータ設定におけるアンサンブル学習を最適化し、モデルの汎化性能を向上させること。

提案手法

• RCRNNに基づく平均教師モデルを、弱教師あり、ラベルなし、および合成された強教師ありデータを含むすべての利用可能なデータ上で最初に訓練する。
• 訓練済みの平均教師モデルが、2段階目の学習における監視信号として使用されるように、弱教師ありおよびラベルなしデータのための強力な偽ラベルを生成する。
• 平均教師設定における学生モデルと構造が同一のノイジィーストゥーデントモデルを初期化し、偽ラベル付きデータ上で自己学習を実行する。
• ノイジィーストゥーデントの訓練中に、時間周波数シフト、mixup、SpecAugment、およびドロップアウトに基づくモデルノイズといった特徴レベルのデータ拡張技術を適用する。
• 自己学習中にモデルの耐性と汎化性能を向上させるために、半教師あり損失関数を用いてラベルノイズを注入する。
• 異なる半教師あり損失ハイパーパramータを有する5分割交差検証モデルをアンサンブル化し、最終的なモデルを生成する。

実験結果

リサーチクエスチョン

• RQ1 多音性SEDにおいて、平均教師モデルは弱教師ありおよびラベルなしデータに対して信頼性の高い偽ラベルを効果的に生成できるか？
• RQ2 複数のデータ拡張技術の統合は、リソースが限られたSED環境におけるノイジィーストゥーデントモデルの汎化性能をどのように向上させるか？
• RQ3 偽ラベル付けとノイズ注入と組み合わせた半教師あり損失関数は、モデルの耐性をどの程度向上させるか？
• RQ4 異なる半教師あり損失ハイパーパramータを持つモデルのアンサンブル学習は、DCASE 2021の交差検証セットにおける最終的なSED性能を向上させるか？
• RQ5 限られた強教師ありデータしか利用できない状況において、2段階自己学習フレームワークは、標準的な教師ありベースラインを上回ることができるか？

主な発見

• 提案された2段階フレームワークは、偽ラベル付けを通じてラベルなしおよび弱教師ありデータを活用することで、SED性能を顕著に向上させた。
• 時間周波数シフト、mixup、SpecAugment、およびドロップアウトといった複数のデータ拡張技術の活用により、モデルの耐性と汎化性能が向上した。
• 半教師あり損失関数は、効果的にラベルノイズを注入し、モデルの安定性と性能を向上させた。
• 異なる半教師あり損失ハイパーパラメータを持つ5分割交差検証モデルをアンサンブル化したモデルが、DCASE 2021の交差検証セットで最高の性能を達成した。
• 平均教師モデルは、ノイジィーストゥーデント段階での効果的な自己学習を可能にする高品質な偽ラベルを効果的に生成した。
• RCRNNベースのアーキテクチャは、多音性音イベントに内在する複雑な時間的および周波数的パターンを効果的に捉える強力な性能を示した。