[論文レビュー] Deep CNN Framework for Audio Event Recognition using Weakly Labeled Web Data

Anurag Kumar, Bhiksha Raj|arXiv (Cornell University)|Jul 9, 2017

Music and Audio Processing参考文献 19被引用数 25

ひとこと要約

この論文では、イベントの存在／不在のみがラベル付けされた（時間的境界はラベル付けされていない）ウェブ音声データから直接音声イベント認識器を学習する深層畳み込みニューラルネットワーク（CNN）フレームワークを提案する。この手法は、グローバル平均プーリングとセグメントレベル分類を用いた階層的CNNアーキテクチャを採用し、可変長の録音データからエンドツーエンド学習を可能にし、Audiosetで最先端の性能を達成している。強ラベル付きデータで学習したモデルを上回る性能を発揮しており、トレーニング時に真のタイムスタンプが存在しない状況でも時間的局所化が可能である。

ABSTRACT

The development of audio event recognition systems require labeled training data, which are generally hard to obtain. One promising source of recordings of audio events is the large amount of multimedia data on the web. In particular, if the audio content analysis must itself be performed on web audio, it is important to train the recognizers themselves from such data. Training from these web data, however, poses several challenges, the most important being the availability of labels: labels, if any, that may be obtained for the data are generally weak, and not of the kind conventionally required for training detectors or classifiers. We propose that learning algorithms that can exploit weak labels offer an effective method to learn from web data. We then propose a robust and efficient deep convolutional neural network (CNN) based framework to learn audio event recognizers from weakly labeled data. The proposed method can train from and analyze recordings of variable length in an efficient manner and outperforms a network trained with strongly labeled web data by a considerable margin. Moreover, even though we learn from weakly labeled data, where event time stamps within the recording are not available during training, our proposed framework is able to localize events during the inference stage.

研究の動機と目的

• YouTubeなどのソースからの弱ラベル付きウェブ音声データを活用することで、大規模で強ラベル付きの音声イベントデータセットの不足を補う。
• 正確な時間的アノテーションが不要なウェブリーなラベル付きデータから効果的に学習できる深層学習フレームワークを開発すること。
• 固定長のセグメンテーションが不要な可変長音声録音データに対して、効率的なトレーニングと推論を実現すること。
• イベント境界のアノテーションが欠落しているトレーニングデータでも、正確な音声イベント認識と時間的局所化を達成すること。
• 弱ラベル付きウェブデータで学習したモデルが、現実世界のノイズ環境において、強ラベル付きデータで学習したモデルを上回ることを示すこと。

提案手法

• 原始波形から階層的音声特徴を抽出するために、複数の畳み込み層およびプーリング層を備えた深層CNNを採用する。
• 全録音に対して一括予測を生成できるように、セグメントレベル出力のグローバル平均プーリングを用い、弱ラベルからのエンドツーエンド学習を可能にする。
• 最終畳み込み層（F3）のセグメントレベル活性化を用い、受容 field を入力時間フレームに再マッピングすることで、時間的局所化を推定する。
• イベントが録音全体に存在するか否かを示す弱ラベルに基づき、バイナリクロスエントロピー損失を用いてモデルを学習する。
• 事前のセグメンテーションが不要な可変長入力を処理できるようにアーキテクチャを設計し、計算効率とトレーニングの柔軟性を向上させる。
• 2段階のトレーニングプロセスを採用：まず、大規模なウェブデータセット（弱ラベル付き）でネットワークを事前学習し、次に、性能向上のための小さな強ラベル付きデータセットでファインチューニングを行う。

実験結果

リサーチクエスチョン

• RQ1 正確な時間的アノテーションが不要な弱ラベル付きウェブ音声データから、深層CNNフレームワークが音声イベント認識を効果的に学習できるか？
• RQ2 特にノイズが多く現実世界の条件が厳しい状況下でも、ウェブリーなラベル付きデータで学習したモデルが、強ラベル付きデータで学習したモデルを上回る認識精度を達成できるか？
• RQ3 真のタイムスタンプがトレーニング時に存在しないにもかかわらず、推論時に意味のある時間的局所化が弱ラベルのみで学習したモデルによって達成できるか？
• RQ4 ウェブ音声データで学習したモデルの性能は、Urbansoundsのようなキュレートされた強ラベル付きデータセットで学習したモデルと比べてどの程度優れているか？
• RQ5 提案されたフレームワークは、ウェブデータに一般的に見られる可変長録音およびノイズや重複する音声イベントに対して、どの程度耐性を示すか？

主な発見

• 弱ラベル付きYouTubeデータで学習した本フレームワークは、強ラベル付きデータで学習したモデルと比較して、平均平均適合率（mAP）で21%の相対的改善を達成した。
• エアコン、自動車のホーン、ドリルなどのイベントでは、APの相対的改善率が63%から96%にのぼった。
• Audiosetテストセットにおいて、YouTubeのウェブデータで学習したモデルは、Urbansoundsデータセットで学習したモデルと比較してmAPで9%、MAUCで2.5%高い性能を示した。
• 自動車のホーンとドッグバーグの場合は、Urbansoundsで学習したモデルと比較してそれぞれ57%以上、31%以上の改善が見られ、複雑で現実世界のイベントに適したウェブデータの利点が顕著に現れた。
• トレーニング時に真のタイムスタンプが存在しなかったにもかかわらず、セグメントレベル活性化マップを用いて推論時にイベントを正確に局所化できた。
• ノイズや重複するイベントに対して高い耐性を示し、困難な構造のないウェブ音声データにおいて、強ラベルベースラインを上回る性能を発揮した。