[論文レビュー] Very Deep Convolutional Neural Networks for Raw Waveforms

Wei Dai, Chia Dai+3 more|arXiv (Cornell University)|Oct 1, 2016

Music and Audio Processing参考文献 14被引用数 7

ひとこと要約

本論文では、手作業で特徴を抽出しないで、生の音声波形を直接処理する非常に深い完全畳み込みニューラルネットワーク（最大34層）を提案する。最初の層で大きな受容 field を使用し、より深い層では小さな受容 field を使用することで、バッチ正規化と残差接続を組み合わせることで、環境音認識タスクで71.8%の精度を達成した。これは2層モデルを15%以上上回り、ロジ・メルスペクトログ램を用いたモデルと同等の性能を発揮した。

ABSTRACT

Learning acoustic models directly from the raw waveform data with minimal processing is challenging. Current waveform-based models have generally used very few (~2) convolutional layers, which might be insufficient for building high-level discriminative features. In this work, we propose very deep convolutional neural networks (CNNs) that directly use time-domain waveforms as inputs. Our CNNs, with up to 34 weight layers, are efficient to optimize over very long sequences (e.g., vector of size 32000), necessary for processing acoustic waveforms. This is achieved through batch normalization, residual learning, and a careful design of down-sampling in the initial layers. Our networks are fully convolutional, without the use of fully connected layers and dropout, to maximize representation learning. We use a large receptive field in the first convolutional layer to mimic bandpass filters, but very small receptive fields subsequently to control the model capacity. We demonstrate the performance gains with the deeper models. Our evaluation shows that the CNN with 18 weight layers outperform the CNN with 3 weight layers by over 15% in absolute accuracy for an environmental sound recognition task and matches the performance of models using log-mel features.

研究の動機と目的

• 手作業で特徴を抽出する必要のない、生の音声波形を直接処理する非常に深い畳み込みニューラルネットワークの開発。
• 長大な生波形シーケンス（例：32,000サンプル）に対して適用する際の、非常に深いネットワークの学習の難しさの克服。
• 最小限のインダクティブバイアスを有する深層アーキテクチャが、時間領域信号から有効な音響表現を学習できるかの調査。
• 全結合層を含まない完全畳み込みネットワークの性能と、標準的なFC層を含むアーキテクチャの性能を比較すること。
• 最初の畳み込み層における受容 field のサイズが表現学習およびモデル性能に与える影響の分析。

提案手法

• 全結合層やドロップアウトを排除することで、表現学習を最大化する、最大34層の重みを持つ完全畳み込みネットワークの設計。
• 最初の畳み込み層に大きな受容 field（80）を適用し、バンドパスフィルタの模倣を図る一方で、より深い層では小さな受容 field（3）を用いてモデル容量を制御する。
• 訓練の安定化と非常に深いネットワークの最適化を可能にするために、バッチ正規化と残差学習ブロックを適用する。
• ストライド付きマックスプーリング（4x1）を用いたマルチスケールのダウンサンプリングを実装し、シーケンス長を短縮しながら時間分解能を保持する。
• 前処理や特徴工学を一切行わず、クロスエントロピー損失を用いて生波形上でエンドツーエンドでモデルを学習する。
• 可変長の音声入力に対応可能にするために、最終のソフトマックス層の前段でグローバル平均プーリングを実装する。

実験結果

リサーチクエスチョン

• RQ1 手作業による特徴抽出なしに、生波形を直接処理する非常に深い完全畳み込みネットワークは、効果的に学習可能か？
• RQ2 最初の畳み込み層における受容 field のサイズは、表現学習および下流タスクの性能にどのように影響するか？
• RQ3 全結合層とドロップアウトを削除することで、波形ベースの音響モデルにおける一般化性能が向上するか？
• RQ4 バッチ正規化と残差接続は、長大な音声シーケンス上で深層ネットワークを学習する際に、どのように影響を与えるか？
• RQ5 生波形モデルは、ロジ・メルスペクトログラムに基づくモデルと同等の性能を達成できるか？

主な発見

• 18層の完全畳み込みネットワークは、環境音認識タスクで71.8%のテスト精度を達成し、3層モデルを15.56%の絶対的精度で上回った。
• 生波形を用いたモデルは、ロジ・メルスペクトログラム特徴を用いたモデルと同等の性能を発揮し、生波形と特徴工学された特徴の間に同等性が確認された。
• M34-resモデル（34層）は99.21%の訓練精度を達成したが、テスト精度は63.47%にとどまり、データセットサイズが限られているため過学習が生じた。
• バッチ正規化を削除すると、深層モデルの学習に失敗する（例：M34-no-bnは訓練精度がたったの10.96%にとどまる）ことが示され、最適化においてバッチ正規化が極めて重要な役割を果たしていることがわかった。
• 最初の層で小さな受容 field を使用したモデル（RF=8）は、RF=80のモデルと比較して最大6.6%の性能低下を示し、スペクトル特性を捉えるために大きな初期受容 field が不可欠であることが明らかになった。
• 全結合層はモデルパラメータ数と学習時間を増加させるが、テスト精度の向上には寄与せず、場合によっては一般化性能を低下させることがある。