[論文レビュー] SubSpectralNet - Using Sub-Spectrogram based Convolutional Neural Networks for Acoustic Scene Classification

Sai Samarth R Phaye, Emmanouil Benetos+1 more|arXiv (Cornell University)|Oct 30, 2018

Music and Audio Processing参考文献 21被引用数 10

ひとこと要約

SubSpectralNetは、周波数帯域にわたるメルスペクトログラムのクロップであるサブスペクトログラムを処理する新しいCNNアーキテクチャを提案する。周波数帯域ごとの特徴量に対して別々のサブ分類器を訓練し、それらをグローバルに統合することで、音響シーン分類のための特徴学習を強化する。このアプローチにより、DCASE 2018ベースライン比で14%の精度向上を達成し、周波数帯域に特化した判別的特徴が性能向上に顕著に寄与することが示された。

ABSTRACT

Acoustic Scene Classification (ASC) is one of the core research problems in the field of Computational Sound Scene Analysis. In this work, we present SubSpectralNet, a novel model which captures discriminative features by incorporating frequency band-level differences to model soundscapes. Using mel-spectrograms, we propose the idea of using band-wise crops of the input time-frequency representations and train a convolutional neural network (CNN) on the same. We also propose a modification in the training method for more efficient learning of the CNN models. We first give a motivation for using sub-spectrograms by giving intuitive and statistical analyses and finally we develop a sub-spectrogram based CNN architecture for ASC. The system is evaluated on the public ASC development dataset provided for the "Detection and Classification of Acoustic Scenes and Events" (DCASE) 2018 Challenge. Our best model achieves an improvement of +14% in terms of classification accuracy with respect to the DCASE 2018 baseline system. Code and figures are available at https://github.com/ssrp/SubSpectralNet

研究の動機と目的

• スペクトログラム内の周波数帯域に特化した特徴が、音響シーン分類に判別的情報を持っているかどうかを調査すること。
• サブスペクトログラムを明示的にモデル化するCNNアーキテクチャを開発すること。
• グローバルなスペクトログラム処理と比較して、局所的な周波数帯域からの学習が分類精度を向上させることを示すこと。
• DCASE 2018 ASC開発データセットを用いて、ベースラインモデルと定量的に比較することで、手法の妥当性を検証すること。

提案手法

• 入力としてログメルスペクトログラムを用い、ユーザーが定義した周波数帯域サイズとホップサイズに従って入力をサブスペクトログラムに分割する、新しい畳み込み層を導入する。
• 各サブスペクトログラムは、別々のサブ分類器（小さなCNN）によって処理され、周波数帯域に沿った局所的特徴学習が可能になる。
• すべてのサブ分類器の出力を連結し、最終的なシーン予測のためのグローバル分類器に供給する。
• サブ分類器の勾配を独立して逆伝播させる、修正されたトレーニング戦略を採用することで、各帯域における特徴の判別力を向上させる。
• 最初の畳み込み層で7×7のカーネルサイズを用い、カーネルサイズのアブレーション実験の結果、これを選定した。
• サブスペクトログラムサイズやメルビンのホップサイズといったハイパーパrameterは、性能を最大化するために経験的に調整された。

実験結果

リサーチクエスチョン

• RQ1 メルスペクトログラム内の特定の周波数帯域が、他の帯域と比較して特定の音響シーンに対してより多くの判別的情報を保持しているか？
• RQ2 サブスペクトログラム（周波数帯域のクロップ）に対して別々のCNNを訓練することは、全スペクトログラムに適用する1つのグローバルCNNと比較して、より優れた特徴学習を可能にするか？
• RQ3 SubSpectralNetの性能は、DCASE 2018ベースラインシステムと比較して、精度および収束速度の面でどのように異なるか？
• RQ4 サブ分類器のトレーニングが全体のモデル性能に与える影響は何か？顕著に結果を改善するか？
• RQ5 SubSpectralNetは、より大きなベースラインモデルと比較して、パrameter数を減らしても優れた精度を達成できるか？

主な発見

• SubSpectralNetは、200メルビンを用いてDCASE 2018開発データセットで74.08%のテスト精度を達成し、DCASE 2018ベースライン比で+14%の向上を示した。
• 40メルビンと20のサブスペクトログラムサイズを用いたモデルは、434Kパラメータを持つより大きなベースラインモデルを上回る72.18%の精度を達成した。
• サブ分類器の逆伝播を除外した場合、精度は68.79%に低下し、帯域に特化した学習の重要性が確認された。
• トレーニング過程において、SubSpectralNetモデルはDCASE 2018ベースラインモデルよりも速く収束し、より高いテスト精度に到達した。
• 200メルビンに最適なサブスペクトログラムサイズ（30）とホップサイズ（10）を用いることで、周波数帯域に意識的な特徴学習の有効性が裏付けられた。
• 331Kパラメータを有するモデルは、434Kパラメータを持つより大きなベースラインモデルを上回った。これは、パrameter数よりもアーキテクチャ設計の影響がより顕著であることを示している。