[論文レビュー] Learning Environmental Sounds with Multi-scale Convolutional Neural Network

Boqing Zhu, Changjian Wang+4 more|arXiv (Cornell University)|Mar 25, 2018

Music and Audio Processing被引用数 6

ひとこと要約

本稿では、複数の時間スケールにわたるフィルタを学習することで、波形ベースの音声表現の周波数分解能と特徴抽出能を向上させる、マルチスケール畳み込みニューラルネットワークWaveMsNetを提案する。さらに、波形とログメルスペクトログラム特徴を1つのエンドツーエンドモデル内で滑らかに統合する2段階の特徴統合手法を導入し、ESC-10で93.75%、ESC-50で79.10%の最先端性能を達成した。

ABSTRACT

Deep learning has dramatically improved the performance of sounds recognition. However, learning acoustic models directly from the raw waveform is still challenging. Current waveform-based models generally use time-domain convolutional layers to extract features. The features extracted by single size filters are insufficient for building discriminative representation of audios. In this paper, we propose multi-scale convolution operation, which can get better audio representation by improving the frequency resolution and learning filters cross all frequency area. For leveraging the waveform-based features and spectrogram-based features in a single model, we introduce two-phase method to fuse the different features. Finally, we propose a novel end-to-end network called WaveMsNet based on the multi-scale convolution operation and two-phase method. On the environmental sounds classification datasets ESC-10 and ESC-50, the classification accuracies of our WaveMsNet achieve 93.75% and 79.10% respectively, which improve significantly from the previous methods.

研究の動機と目的

• 単一スケールのフィルタでは、周波数分解能と高周波数カバレッジのトレードオフが生じるため、生波形からの判別的音声特徴を捕捉できないという制限に対処する。
• 従来の手法が別々のモデルの出力を平均化するのではなく、共同学習を実現しないまま波形とスペクトログラム特徴を最適でない方法で統合していたという問題を克服する。
• 生波形とログメルスペクトログラムの両方からの補完的表現をエンドツーエンドで学習する統一されたディープラーニングフレームワークを開発する。
• マルチスケール時間畳み込みと適応的特徴統合を活用することで、従来の波形専用モデルを上回る環境音分類性能を実現する。

提案手法

• 異なるサイズとストライドを持つフィルタを用いたマルチスケール畳み込み演算を提案し、複数の時間スケールで生波形から特徴を抽出することで、周波数分解能と全周波数帯域へのカバレッジを向上させる。
• 2段階のトレーニング戦略を設計：最初の段階では生波形のみでネットワークを事前学習し、2番目の段階では早期層を凍結した状態で、マルチスケール特徴とログメル特徴を統合した入力を用いて微調整する。
• ネットワークの後段でマルチスケール波形特徴とログメルスペクトログラム特徴を連結する特徴統合メカニズムを実装し、補完的表現の共同最適化を可能にする。
• マルチスケール畳み込みと2段階統合手法を統合したエンドツーエンドCNNアーキテクチャであるWaveMsNetを構築し、分類用に共有されたバックエンド層を備える。
• 2段階トレーニングプロトコルを採用：段階1では生波形でネットワークを学習し、時間領域の判別的パターンを学習する。段階2ではログメル特徴を追加し、後段の層のみを微調整する。
• 各畳み込み層の後にバッチ正規化とReLU活性化関数を適用し、グローバル平均プーリングの後で全結合層を用いて分類を行う。

実験結果

リサーチクエスチョン

• RQ1 同じ数のフィルタを用いた場合、単一スケールフィルタと比較して、生波形にマルチスケール畳み込み演算を適用することで音声表現学習が向上するか？
• RQ2 1つのモデル内で波形とログメル特徴を統合する2段階トレーニング法は、別々のモデルを学習して予測を平均化する手法よりも優れた性能を示すか？
• RQ3 マルチスケール畳み込み層内の異なるスケールのフィルタは、どのようにして異なる周波数帯特徴を学習に寄与するか？
• RQ4 提案された統合戦略は、最先端の波形専用モデルと比較して、環境音データセットにおける分類精度をどの程度向上させるか？
• RQ5 性能向上は、より優れた特徴表現によるものか、改善された統合戦略によるものか。また、早期層を凍結することで最終精度にどのような影響を与えるか？

主な発見

• WaveMsNetはESC-10で93.75%、ESC-50で79.10%の精度を達成し、従来の波形専用モデルを顕著に上回り、人間水準の性能（95.70%および81.30%）に近づいた。
• 同じ数のフィルタを用いた場合、マルチスケール畳み込みは単一スケールモデルに比べて約3%の精度向上をもたらし、多様なスペクトル時間パターンを捉える有効性を示した。
• 特徴統合を伴う2段階トレーニング法は、段階1のみのモデルと比較して、ESC-10で5.70%、ESC-50で9.05%の性能向上をもたらした。これは、波形とスペクトログラム特徴の共同最適化が非常に有効であることを示している。
• 段階2で早期層（Conv1およびConv2）を凍結した場合、それらを更新するよりも高い性能向上が得られた。これは、ログメル特徴が適切に管理されない場合、生波形表現の学習を妨げることがあることを示している。
• 2段階法は1段階の統合学習よりもESC-10で5.00%、ESC-50で2.75%高い性能を示し、別々の事前学習と微調整が、より良い特徴学習とモデル安定性を実現できることを確認した。
• 学習済みフィルタの可視化から、異なるスケールが異なる周波数帯に特化していることがわかった：小さなスケールは広い、メルスケールに一致する帯域を捉え、大きなスケールは低周波帯域の高周波数分解能に注目する。これにより、マルチスケール学習の補完的性質が裏付けられた。