[論文レビュー] Forward-Backward Convolutional Recurrent Neural Networks and Tag-Conditioned Convolutional Neural Networks for Weakly Labeled Semi-supervised Sound Event Detection

Janek Ebbers, Reinhold Haeb‐Umbach|arXiv (Cornell University)|Mar 11, 2021

Music and Audio Processing被引用数 5

ひとこと要約

本論文は、弱教師あり半教師あり音声イベント検出（SED）のための前向き・後向き畳み込み再帰ニューラルネットワーク（FBCRNN）とタグ条件付きCNNを提案する。FBCRNNは、全系列の文脈を用いて各時刻で音声タグを予測するように、前向きおよび後向きRNNを共同で学習させ、短いセグメントにおけるSEDを可能にする。タグ条件付きCNNは、予測されたタグを入力として用い、強教師ありラベルの予測を精緻化する。本システムは検証セットで52.8%のマクロF1を達成し、チャレンジベースラインを18.0%、優勝システムを2.2%上回った。

ABSTRACT

In this paper we present our system for the detection and classification of acoustic scenes and events (DCASE) 2020 Challenge Task 4: Sound event detection and separation in domestic environments. We introduce two new models: the forward-backward convolutional recurrent neural network (FBCRNN) and the tag-conditioned convolutional neural network (CNN). The FBCRNN employs two recurrent neural network (RNN) classifiers sharing the same CNN for preprocessing. With one RNN processing a recording in forward direction and the other in backward direction, the two networks are trained to jointly predict audio tags, i.e., weak labels, at each time step within a recording, given that at each time step they have jointly processed the whole recording. The proposed training encourages the classifiers to tag events as soon as possible. Therefore, after training, the networks can be applied to shorter audio segments of, e.g., 200 ms, allowing sound event detection (SED). Further, we propose a tag-conditioned CNN to complement SED. It is trained to predict strong labels while using (predicted) tags, i.e., weak labels, as additional input. For training pseudo strong labels from a FBCRNN ensemble are used. The presented system scored the fourth and third place in the systems and teams rankings, respectively. Subsequent improvements allow our system to even outperform the challenge baseline and winner systems in average by, respectively, 18.0% and 2.2% event-based F1-score on the validation set. Source code is publicly available at https://github.com/fgnt/pb_sed.

研究の動機と目的

• 音声イベント検出（SED）の課題に、イベントの有無のみがアノテートされた弱教師ありデータを用いて、家庭環境で解決すること。
• 全録音データに弱教師ありラベルを用いて学習しているにもかかわらず、短い音声セグメント（例：200 ms）におけるSED推論を可能にする手法の開発。
• FBCRNNの予測から生成された疑似強教師ありラベルを活用することで、半教師あり学習における性能向上を図ること。
• 弱教師ありラベルを補助入力として用いたタグ条件付きの有効性を検証すること。

提案手法

• FBCRNNは、共有畳み込みニューラルネットワーク（CNN）による特徴抽出の後、入力を前向きに処理するRNNと後向きに処理するRNNを用い、全系列の文脈を用いて各時刻で音声タグを予測するように、両方のRNNを共同で学習させる。
• 両方のRNNが全系列の文脈に基づいてタグを予測するよう強制することで、学習段階で早期タギングが促進され、学習後には短いセグメントにおける推論が可能になる。
• タグ条件付きCNNは、FBCRNNから得た予測タグを追加の入力特徴として用い、強教師ありラベルのイベント発生時刻と終了時刻を予測するように学習する。
• FBCRNNのアンサンブルからの出力に基づいて疑似強教師ありラベルを生成し、タグ条件付きCNNの学習を監督する。
• 訓練段階で、mixup、時間・周波数マスキング、ランダムスケーリングなどのデータ拡張技術を適用し、モデルのロバスト性を向上させる。
• 複数のFBCRNNおよびCNNモデルのアンサンブルにより、汎化性能が向上し、検出性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 弱教師ありラベルで学習した前向き・後向きRNNアーキテクチャが、強教師ありラベルなしで短い音声セグメントにおける有効な音声イベント検出を可能にするか？
• RQ2 FBCRNNの予測タグをCNNの条件付き入力として用いることで、半教師ありSEDにおける強教師ありラベル予測の精緻化にどの程度効果的か？
• RQ3 FBCRNN出力に基づく疑似ラベル付けが、弱教師ありSEDにおけるタグ条件付きCNNの性能向上に顕著に寄与するか？
• RQ4 FBCRNNとタグ条件付きCNNモデルのアンサンブルは、個々のモデルと比較して、全体のSED性能をどの程度向上させるか？
• RQ5 効果的なモデル設計と組み合わせた場合、より複雑な半教師あり手法（例：mean-teacher）に比べ、単純な疑似ラベル戦略が優れた性能を発揮するか？

主な発見

• FBCRNNアンサンブルは検証セットで48.3%のマクロF1スコアを達成し、早期タギングと短いセグメントにおける推論の有効性を示した。
• タグ条件付きCNNアンサンブルは検証セットで52.1%のマクロF1スコアを達成し、FBCRNNを上回り、タグ条件付きの利点を示した。
• FBCRNNとCNNモデルを組み合わせたハイブリッドアンサンブルは検証セットで52.8%のマクロF1を達成し、チャレンジベースラインを18.0%上回った。
• 本システムは検証セットで2020年チャレンジ優勝システムを2.2%上回り、優れた汎化性能を示した。
• yt-eval-2019セットでは、単一のFBCRNNモデルに比べ2.4%、単一のCNNモデルに比べ0.7%の性能向上がアンサンブルによって達成された。
• より広範なハイパーパramータチューニングはわずかな効果しか示さず、性能向上の主な要因は疑似ラベル付けの改善であったと考えられる。