[論文レビュー] Utilizing Domain Knowledge in End-to-End Audio Processing

Tycho Max Sylvester Tax, Jose Luis Diez Antich+2 more|arXiv (Cornell University)|Dec 1, 2017

Music and Audio Processing参考文献 13被引用数 4

ひとこと要約

本論文では、ラベル付きの生音声とターゲットのメルスペクトログ램を用いた教師あり学習により、エンドツーエンドのCNNの最初の層を、学習されたメルスペクトログラム変換で初期化する手法を提案する。この手法は、手作業で作成されたメルスペクトログラムで訓練されたモデルと同等の性能を達成し、ドメイン知識を深層ネットワークに効果的に埋め込むことで、生音声入力に対する収束性と精度が向上することを示している。

ABSTRACT

End-to-end neural network based approaches to audio modelling are generally outperformed by models trained on high-level data representations. In this paper we present preliminary work that shows the feasibility of training the first layers of a deep convolutional neural network (CNN) model to learn the commonly-used log-scaled mel-spectrogram transformation. Secondly, we demonstrate that upon initializing the first layers of an end-to-end CNN classifier with the learned transformation, convergence and performance on the ESC-50 environmental sound classification dataset are similar to a CNN-based model trained on the highly pre-processed log-scaled mel-spectrogram features.

研究の動機と目的

• 教師あり学習を用いて、ペアドされた生波形とメルスペクトログラムを用いて、深層ニューラルネットワークが生波形からロッグスケールメルスペクトログラム変換を学習できるかどうかを調査すること。
• エンドツーエンド音声分類器の最初の層を、学習された変換で初期化することで、生波形入力に対する収束性と性能が向上するかどうかを評価すること。
• このような学習された初期化が、高度に事前処理されたメルスペクトログラム特徴量で訓練されたモデルと同等の性能を達成できるかどうかを特定すること。
• 低データ環境における音声モデリングにおいて、ドメイン知識とエンドツーエンド学習を組み合わせる可能性を検討すること。

提案手法

• 生波形を対応するロッグスケールメルスペクトログラムにマップする目的で、3層の1次元CNN（MSTmodel）を教師あり学習で訓練する。
• MSTmodelはReLUおよびtanh活性化関数を用い、SAMEパディングを採用しており、標準的なSTFTパラメータと一致するカーネルサイズとストライドを持つように設計されている。
• エンドツーエンド音声分類器の最初の層を、事前学習済みのMSTmodelの重みで初期化し、訓練中は固定する。
• 分類器は、生入力用に追加された1次元CNN層を備えた変更版PiczakCNNアーキテクチャを採用し、その後にマックスプーリング、全結合層、ソフトマックス出力を通じて分類を行う。
• 訓練には、Nesterovモーメンタムを用いた確率的勾配降下法を採用し、バッチサイズは500、学習率は5e-3、エポック数は200、L2正則化は使用しない。
• テスト時の推論では、重複するセグメントに対するメジャリティ投票を用いる。

実験結果

リサーチクエスチョン

• RQ1 ペアドされた生波形とメルスペクトログラムを用いて教師あり学習を行うことで、深層ニューラルネットワークが生波形からロッグスケールメルスペクトログラム変換を学習できるか？
• RQ2 学習されたメルスペクトログラム変換で初期化したエンドツーエンド音声分類器が、生波形入力に対して収束性とテスト精度を向上させるか？
• RQ3 学習された変換で初期化したエンドツーエンドモデルと、手作業で事前処理されたメルスペクトログラム特徴量で訓練されたモデルの性能は、どのように比較されるか？
• RQ4 学習された最初の層の特徴量は、ウェーブレットやバンドパスフィルタのような意味のある音声表現として解釈できるか？
• RQ5 初期学習後に最初の層パラメータをファインチューニングすることで、さらなる性能向上が見込めるか？

主な発見

• MSTmodelは、既知の音声フィルタバンクと類似した外観を示すフィルタを学習し、標準的なロッグスケールメルスペクトログラム変換をよく近似する表現を効果的に学習していることが、定性的に示された。
• エンドツーエンド分類器の最初の層を、事前学習済みのMSTmodelの重みで初期化し、固定した場合、ESC-50データセットでメジャリティ投票を用いて約53%のテスト精度を達成した。
• これは、メルスペクトログラムで訓練されたPiczakCNNモデルのベースライン精度（デルタなし）と同等であり、学習された初期化が生入力で競争力のある性能を実現できることを示している。
• MSTmodelの最初の層が学習したフィルタは、ウェーブレットやバンドパスフィルタに類似しており、ネットワークが構造的に意味のある音声表現を発見していることが示唆される。
• 本研究では、学習された特徴抽出を介してドメイン知識を統合することで、特にラベル付きデータが少ない環境において、エンドツーエンド音声分類の性能が顕著に向上することを示している。
• 著者らは、収束後に最初の層パラメータをファインチューニングすることでさらなる性能向上が期待できると提案しており、今後の研究における有望な方向性を示している。