[論文レビュー] Understanding Audio Pattern Using Convolutional Neural Network From Raw Waveforms

Shuhui Qu, Juncheng Li+2 more|arXiv (Cornell University)|Nov 29, 2016

Music and Audio Processing参考文献 5被引用数 10

ひとこと要約

本稿では、スペクトル変換を用いずに、生波形から直接意味のある音声パターンを抽出するデータ駆動型アプローチを提案する。1次元畳み込みニューラルネットワーク（CNN）を用い、最初の畳み込み層でウェーブレットに類似したバンドパスフィルタを学習する。これにより、最小限の損失で効果的な音声認識と信号再構成が可能となり、深層CNNが自動的に時間領域における情報豊かな表現を学習できることを示している。

ABSTRACT

One key step in audio signal processing is to transform the raw signal into representations that are efficient for encoding the original information. Traditionally, people transform the audio into spectral representations, as a function of frequency, amplitude and phase transformation. In this work, we take a purely data-driven approach to understand the temporal dynamics of audio at the raw signal level. We maximize the information extracted from the raw signal through a deep convolutional neural network (CNN) model. Our CNN model is trained on the urbansound8k dataset. We discover that salient audio patterns embedded in the raw waveforms can be efficiently extracted through a combination of nonlinear filters learned by the CNN model.

研究の動機と目的

• 深層畳み込みニューラルネットワーク（CNN）が、スペクトル特徴の設計を伴わずに生波形から意味のある音声パターンを直接学習できるかを調査すること。
• 学習されたCNNフィルタの挙動を、音声信号の時間的および周波数的特徴を捉える観点から、従来のウェーブレット変換と比較すること。
• UrbanSound8Kデータセットを用いて、エンドツーエンドの音声認識タスクにおける生波形入力の有効性を評価すること。
• 最初のCNN層の活性化から元の音声信号を再構成し、学習された表現の忠実度と情報保持度を評価すること。

提案手法

• UrbanSound8Kデータセットの生波形を用いて、エンドツーエンドに1次元CNNを訓練し、環境音分類を実行する。
• 最初の畳み込み層はバックプロパゲーションにより非線形フィルタを学習し、その周波数応答と中心周波数をフーリエ変換を用いて分析する。
• 学習されたフィルタと従来のウェーブレット基底関数との類似性を評価するため、ウェーブレット変換および連続ウェーブレット変換（CWT）を比較ベースラインとして用いる。
• 再構成は、学習済み重みとバイアスを用いて最初の畳み込み層を逆転させ、正規化とアライメントを施して再構成信号と元の信号を比較する。
• 認識精度に与える影響を評価するため、ウィンドウサイズ、フィルタ数、サンプリングレートの違いを検証する。
• カーネル解析では、学習済みフィルタのパワースペクトルを計算し、中心周波数の分布をプロットしてフィルタ特性を評価する。

実験結果

リサーチクエスチョン

• RQ1 生波形を入力として学習したCNNの最初の畳み込み層のフィルタは、ウェーブレットに類似したバンドパスフィルタリング特性を示すか？
• RQ2 生波形を入力として学習したCNNの性能は、MFCCなどの従来のスペクトル特徴を用いたモデルと比較して、音声認識タスクでどのように異なるか？
• RQ3 最初の畳み込み層の出力を用いて、最小限の歪みで元の音声信号を再構成できるか？
• RQ4 学習されたフィルタの中心周波数とバンド幅の分布はどのようなものか？また、聴覚的認識やウェーブレット理論とどのように関連しているか？
• RQ5 ウィンドウサイズ、フィルタ数、サンプリングレートなどのハイパーパrameterは、生波形入力におけるモデルの認識精度にどのように影響を与えるか？

主な発見

• CNNの最初の畳み込み層が学習したフィルタは明確なバンドパス特性を示しており、中心周波数は主に2.5 kHz未満に集中し、指数関数的関数に類似した分布を示しており、ウェーブレットスケールに類似している。
• 160サンプル（20ms）ではなく72サンプル（9ms）の小さなウィンドウサイズを用いることで、分類精度が3%向上した。これは、時間分解能の向上が生波形モデリングに好影響を及えることを示している。
• フィルタ数を64に増加させても性能向上が見られず、収束が遅くなった。これは、ある閾値を超えるとフィルタ数の増加に伴う利得が減少することを示唆している。
• 22.5 kHzのサンプリングレートを用いた場合、78.34%の精度を達成した。これはMFCC特徴を用いた場合の69.03%の精度を大きく上回り、高サンプリングレートの生波形入力の利点を示している。
• 最初の畳み込み層の出力からの信号再構成は、元の音声の一般的な時間的エンVELOープと主要なパターンを最小限の損失で捉えており、この層が重要な信号特徴を保持していることを確認した。
• 正規化後の学習フィルタの逆フィルタは、時間とともに減衰する非対称な正弦波に類似した基底関数を生成し、ウェーブレットに類似した構造を示した。これにより、CNNフィルタとウェーブレットの類似性がさらに裏付けられた。