[論文レビュー] A Closer Look at Weak Label Learning for Audio Events

Ankit Shah, Anurag Kumar+2 more|arXiv (Cornell University)|Apr 24, 2018

Music and Audio Processing参考文献 4被引用数 47

ひとこと要約

本論文は WAL-Net を提示し、CNN ベースの弱ラベル付き音響イベント検出アプローチを提案し、Audioset におけるラベル密度とラベル破損が学習に与える影響を分析するとともに、ウェブ由来の弱データとの比較を行う。

ABSTRACT

Audio content analysis in terms of sound events is an important research problem for a variety of applications. Recently, the development of weak labeling approaches for audio or sound event detection (AED) and availability of large scale weakly labeled dataset have finally opened up the possibility of large scale AED. However, a deeper understanding of how weak labels affect the learning for sound events is still missing from literature. In this work, we first describe a CNN based approach for weakly supervised training of audio events. The approach follows some basic design principle desirable in a learning method relying on weakly labeled audio. We then describe important characteristics, which naturally arise in weakly supervised learning of sound events. We show how these aspects of weak labels affect the generalization of models. More specifically, we study how characteristics such as label density and corruption of labels affects weakly supervised training for audio events. We also study the feasibility of directly obtaining weak labeled data from the web without any manual label and compare it with a dataset which has been manually labeled. The analysis and understanding of these factors should be taken into picture in the development of future weak label learning methods. Audioset, a large scale weakly labeled dataset for sound events is used in our experiments.

研究の動機と目的

• 大規模ウェブデータセットからの弱ラベルを用いたスケーラブルな音響イベント検出を動機づける。
• セグメントレベルの事後確率を学習し、弱ラベリング下で録音レベルの予測へ集約するCNNベースのアーキテクチャ（WAL-Net）を提案する。
• 弱教師あり AED における一般化へ与えるラベル密度とラベル腐敗ノイズの影響を特徴づける。
• 手動ラベル付けデータからの学習とウェブ由来の弱ラベルからの学習を比較し、弱ラベルのウェブマイニングの実行可能性を検討する。

提案手法

• WAL-Net を導入する：ログメルスペクトログラム上で動作する完全畳み込み CNN を用いてセグメントレベルの事後確率を予測し、平均プーリングによって録音レベルの出力へ写像する。
• 録音レベルの弱ラベルを用い、全クラスに対してマルチラベルのバイナリ交差エントロピー損失で訓練する。
• 128フレームのログメル入力、バッチ正規化と ReLU を備えた 3×3 畳み込み、セグメント長は約1.5秒、50% のオーバーラップ。
• 可変長録音を許容し、セグメントレベルの出力を観察することで時系列局在化を可能にする。
• Audioset-At-30 と Audioset-At-60 を用いてラベル密度の低下を模擬し、性能への影響を検討する。
• Audioset のラベルを段階的に腐敗させることでラベル腐敗を検証し、ウェブ由来の YouTube-wild データと比較してラベルノイズに対する頑健性を評価する。

実験結果

リサーチクエスチョン

• RQ1 録音レベルのラベルのみを用いて、CNN ベースの弱教師ありモデル（WAL-Net）は大規模な Audioset でどのように性能を示すか。
• RQ2 弱ラベルにおけるラベル密度とラベル腐敗ノイズが AED の一般化にどう影響するか。
• RQ3 ウェブからマイニングされた弱ラベル（YouTube-wild）は手動ラベル付きの Audioset データの性能に近づくか。
• RQ4 ラベル密度の低下（イベント出現が希薄な長尺の録音）によるモデル性能への影響はどうか。

主な発見

モデル	AP	AUC
AlexNet(BN)	NA	0.927
AlexNet	NA	0.895
WAL Net	0.196	0.925

• WAL-Net は Audioset で MAUC 約 0.925、全イベント527件の総合性能の AP は 0.196。
• 性能はイベントの特異性に強く依存し、特定音の AP が高く（例：パイプ、サイレン）、あいまいなもの（例：屋内・公開空間）では AP が非常に低い。
• ラベル密度を Audioset の 10s から Audioset-At-30 の 30s に減らすと MAP が相対的に約 12%低下し、ラベル密度に対する感度を示す。
• Audioset-At-60 はさらにラベル密度を低下させ、ラベルノイズに対する頑健性について追加の知見を提供し、YouTube-wild の実験はウェブ由来の弱ラベルの課題を示す。
• Audioset は手動ラベル付けされ、本研究ではほぼ完璧なラベルとして取り扱われる。ラベルの体系的な腐敗は、ノイズの多いラベリングが弱教師あり学習を劣化させることを示す。
• WAL-Net はセグメントレベルの予測を活用し、録音レベルの出力へ平均化することで、弱教師あり設定でも時刻的位置づけが可能である。