[論文レビュー] Fully DNN-based Multi-label regression for audio tagging

Yong Xu, Qiang Huang+3 more|arXiv (Cornell University)|Jun 24, 2016

Music and Audio Processing参考文献 24被引用数 12

ひとこと要約

本論文は、音声セグメント単位のラベルのみを用いて、DNNを符号化関数として用いる完全に深層ニューラルネットワーク（DNN）ベースのマルチラベル回帰フレームワークを提案する。このフレームワークにより、DCASE 2016のGMMベースライン比で等誤り率（EER）が15%相対的に向上し、長期的な時系列モデリング、深層ピラミッド特徴抽出器、ドロップアウト、ノイズに配慮した学習がその要因となっている。

ABSTRACT

Acoustic event detection for content analysis in most cases relies on lots of labeled data. However, manually annotating data is a time-consuming task, which thus makes few annotated resources available so far. Unlike audio event detection, automatic audio tagging, a multi-label acoustic event classification task, only relies on weakly labeled data. This is highly desirable to some practical applications using audio analysis. In this paper we propose to use a fully deep neural network (DNN) framework to handle the multi-label classification task in a regression way. Considering that only chunk-level rather than frame-level labels are available, the whole or almost whole frames of the chunk were fed into the DNN to perform a multi-label regression for the expected tags. The fully DNN, which is regarded as an encoding function, can well map the audio features sequence to a multi-tag vector. A deep pyramid structure was also designed to extract more robust high-level features related to the target tags. Further improved methods were adopted, such as the Dropout and background noise aware training, to enhance its generalization capability for new audio recordings in mismatched environments. Compared with the conventional Gaussian Mixture Model (GMM) and support vector machine (SVM) methods, the proposed fully DNN-based method could well utilize the long-term temporal information with the whole chunk as the input. The results show that our approach obtained a 15% relative improvement compared with the official GMM-based method of DCASE 2016 challenge.

研究の動機と目的

• 手動でアノテートされた音声データが限られている課題に対処するため、フレーム単位のアノテーションではなく、弱教師ありのセグメント単位のラベルを活用する。
• 従来のGMM や SVM などのモデルがイベントを独立して扱い、文脈的な関係性を無視するという制限を克服する。
• マルチラベルタギングに適した、音声の長期的時系列依存性を効果的に捉える深層学習フレームワークを開発する。
• ドロップアウトなどの正則化技術とノイズに配慮した学習により、環境の不一致に強い一般化性能を向上させる。

提案手法

• 入力音声シーケンス（生データまたは抽出特徴）を、回帰設定下でマルチラベル出力ベクトルに写像するため、完全に接続されたDNNを符号化関数として用いる。
• フレームを個別に処理するのではなく、音声セグメントの全フレームまたはほぼ全フレームをDNNに供給することで、長期的な時系列的文脈を保持する。
• 段階的に層のサイズを小さくすることで、ノイズや相関のない干渉を抑えるとともに、強固で高レベルの特徴を抽出する深層ピラミッド構造を設計する。
• 一般化性能の向上とトレーニングデータにおける過学習の低減を目的に、ドロップアウト正則化を適用する。
• 未知または不一致な音響環境でも耐性を持つように、バックグラウンドノイズに配慮した学習を組み込む。
• 複数の同時発生する音声タグの共同予測を最適化するため、マルチラベル回帰損失関数を用いてDNNをエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 完全にDNNベースの回帰フレームワークは、セグメント単位のラベルのみを用いても、従来のGMM や SVM 手法を上回ることができるか？
• RQ2 フレーム単位のアプローチや独立したイベントモデリングと比較して、音声セグメント内の長期的時系列的文脈は、マルチラベルタギング性能にどの程度寄与するか？
• RQ3 深層ピラミッド構造は、不要なノイズをフィルタリングしながら、音声タギングに適した強固で高レベルの特徴を効果的に抽出できるか？
• RQ4 ドロップアウトとノイズに配慮した学習は、現実世界の不一致環境において一般化性能を顕著に向上させるか？
• RQ5 提案されたDNNフレームワークは、公式のDCASE 2016 GMMベースラインに対して顕著な性能向上を達成できるか？

主な発見

• 提案された完全にDNNベースの手法は、公式のDCASE 2016 GMMベースライン比で平均等誤り率（EER）が15%相対的に向上した。
• DNNモデルは平均EERをGMMの0.210から0.1785に低下させ、最も成績の良かったタグ（'v'：子供の発話）ではEERが0.0530にまで低下した。
• 本手法はMI-SVMベースラインを全タグで顕著に上回り、平均EERはMI-SVMの0.5474からDNNの0.1785にまで低下した。
• モデルは強力な一般化性能を示し、開発セット全体で学習した場合、評価セットでの最終EERが19.0%に達した。
• 深層ピラミッド構造とノイズに配慮した学習が、特に『f』（女性の発話）や『o』（他の識別可能な音）といった困難なタグにおいて、耐性向上に寄与した。