[論文レビュー] Deep Convolutional Neural Networks and Data Augmentation for Acoustic Event Detection

Naoya Takahashi, Michael Gygli+2 more|arXiv (Cornell University)|Apr 25, 2016

Music and Audio Processing参考文献 33被引用数 94

ひとこと要約

本論文は、秒単位の音響イベントを直接モデル化できる大規模な入力フィールドを備えた深層9層畳み込みニューラルネットワーク（CNN）を提案し、エンド・ツー・エンドの音響イベント検出（AED）を実現する。また、一般化性能を向上させるために、新たなデータ拡張手法「強調に基づくマルチスケールデータ拡張（EMDA）」を導入し、BoAW+SVMなどの最先端手法と比較して16%の絶対的精度向上を達成した。

ABSTRACT

We propose a novel method for Acoustic Event Detection (AED). In contrast to speech, sounds coming from acoustic events may be produced by a wide variety of sources. Furthermore, distinguishing them often requires analyzing an extended time period due to the lack of a clear sub-word unit. In order to incorporate the long-time frequency structure for AED, we introduce a convolutional neural network (CNN) with a large input field. In contrast to previous works, this enables to train audio event detection end-to-end. Our architecture is inspired by the success of VGGNet and uses small, 3x3 convolutions, but more depth than previous methods in AED. In order to prevent over-fitting and to take full advantage of the modeling capabilities of our network, we further propose a novel data augmentation method to introduce data variation. Experimental results show that our CNN significantly outperforms state of the art methods including Bag of Audio Words (BoAW) and classical CNNs, achieving a 16% absolute improvement.

研究の動機と目的

• 長期間にわたる音響イベントの検出を、手作業で特徴を設計するのではなく、HMMに依存せずに実現すること。
• AEDで一般的に見られる低データ環境における過学習を解消するために、新たなデータ拡張戦略を導入すること。
• 深層CNNが大規模な受容 field を持つことで、音声イベント全体を直接モデル化し、エンド・ツー・エンドでの学習を可能にすること。
• 小規模な3×3カーネルを用いた深層アーキテクチャが、AEDタスクにおいて浅層モデルや従来のDNNよりも優れていることを示すこと。

提案手法

• 受容 field を拡大し、長期的な時間的依存関係をモデル化できるように、3×3畳み込みカーネルをスタックしてVGGNetアーキテクチャをAEDに適応させる。
• 最大400フレーム（約4秒）に達する大規模な入力フィールドを採用し、完全な音響イベントを直接モデル化することで、HMMを用いないエンド・ツー・エンド学習を可能にする。
• 時間歪みと振幅変調を適用することで多様な訓練サンプルを生成する、新たなデータ拡張手法「強調に基づくマルチスケールデータ拡張（EMDA）」を導入する。
• EMDAとベクトル・テイラー線形予測（VTLP）を組み合わせることで、データ変動を強化し、データ不足に対するロバスト性を向上させる。
• バックプロパゲーションによる学習に、ReLU活性化関数、マックスプーリング層、L1正則化付き交差エントロピー損失関数を用いる。
• 弱教師ありデータに対応するため、最大プーリングとノイズありORプーリングを用いた複数インスタンス学習（MIL）を評価したが、性能向上は観察されなかった。

実験結果

リサーチクエスチョン

• RQ1 大規模な入力フィールドを備えた深層CNNは、HMMやフレームレベルの集約に依存せずに、エンド・ツー・エンドの音響イベント検出を可能にするか？
• RQ2 提案されたEMDAデータ拡張手法は、限られた訓練データ下でモデルの一般化性能をどの程度向上させるか？
• RQ3 ネットワークの深さと受容 field のサイズを拡大することで、従来のDNNやBoAWベースの手法と比較して顕著な性能向上が得られるか？
• RQ4 訓練データがノイズが多いまたは弱教師ありの場合、複数インスタンス学習（MIL）は性能向上に寄与するか？
• RQ5 時間的文脈と精度の観点から、音響イベントをモデル化する際の最適な入力フィールドサイズは何か？

主な発見

• 大規模な入力フィールドを備えた提案された9層CNN（アーキテクチャB）は、データ拡張を適用した結果、92.8%の精度を達成し、BoAW+SVMベースライン（74.7%）と比較して16%の絶対的向上を示した。
• データ拡張によりBアーキテクチャでは12.5%の性能向上が見られ、EMDAとVTLPの組み合わせが単体の手法よりも優れた性能を示した。
• 大きな入力フィールド（例：400フレーム）は、小さなフィールド（例：30フレーム）よりも顕著に性能を向上させ、1秒未満の入力長では精度が急激に低下した。
• パrameter数が少ないにもかかわらず、小規模な3×3カーネルを用いた深層CNNは、浅層モデルよりも一般化性能に優れており、深層アーキテクチャの効率性を示している。
• 2秒の入力フィールドを用いたMILは、4秒の入力フィールドを用いた単一インスタンス学習と同等またはそれ以上の性能を示し、パrameter数が少ないにもかかわらずより良い誘導バイアスを示している。
• 大規模な入力フィールドを備えたCNNは、HMMを組み合わせたCNNベースラインよりも23.5ポイントの精度向上を達成し、HMMベースの系列モデル化よりも直接的モデリングの優位性を裏付けた。