[論文レビュー] Acoustic scene classification using convolutional neural network and multiple-width frequency-delta data augmentation

Yoonchang Han, Kyogu Lee|arXiv (Cornell University)|Jul 8, 2016

Music and Audio Processing参考文献 25被引用数 35

ひとこと要約

本論文は、DCASE 2016データセットにおける音響シーン分類のパフォーマンス向上を目的として、複数幅の周波数デルタ（MWFD）データ拡張と畳み込みニューラルネットワーク（ConvNet）フレームワークを提案する。静的メルスペクトログ램と、さまざまな幅の周波数デルタ特徴量を別々の入力例として取り入れ、それらの予測を乗算によるアグリゲーションで統合することで、15クラスのシーン分類においてSOTAの精度0.831を達成した。これはベースラインシステムおよび標準的な深層ニューラルネットワークよりも約7%高い性能を示した。

ABSTRACT

In recent years, neural network approaches have shown superior performance to conventional hand-made features in numerous application areas. In particular, convolutional neural networks (ConvNets) exploit spatially local correlations across input data to improve the performance of audio processing tasks, such as speech recognition, musical chord recognition, and onset detection. Here we apply ConvNet to acoustic scene classification, and show that the error rate can be further decreased by using delta features in the frequency domain. We propose a multiple-width frequency-delta (MWFD) data augmentation method that uses static mel-spectrogram and frequency-delta features as individual input examples. In addition, we describe a ConvNet output aggregation method designed for MWFD augmentation, folded mean aggregation, which combines output probabilities of static and MWFD features from the same analysis window using multiplication first, rather than taking an average of all output probabilities. We describe calculation results using the DCASE 2016 challenge dataset, which shows that ConvNet outperforms both of the baseline system with hand-crafted features and a deep neural network approach by around 7%. The performance was further improved (by 5.7%) using the MWFD augmentation together with folded mean aggregation. The system exhibited a classification accuracy of 0.831 when classifying 15 acoustic scenes.

研究の動機と目的

• 深層学習、特に畳み込みニューラルネットワーク（ConvNets）を用いた音響シーン分類（ASC）のパフォーマンス向上を目的とする。これは、関連する音声タスクにおいて優れた結果を示している。
• 周波数デルタ特徴量を複数の幅で用いることで、特徴表現を強化する新しいデータ拡張戦略を導入し、ASCにおける一般化性とロバスト性の欠如という課題に取り組む。
• 静的特徴量とデルタ特徴量の複数の入力タイプからの予測を効果的に統合する出力アグリゲーション手法を開発し、クリップレベルの分類精度を向上させる。
• DCASE 2016ベンチマークデータセット上で、本手法の有効性を示す。このデータセットは、以前のASCチャレンジと比較して、より大規模かつ多様なトレーニングセットを備えている。

提案手法

• 8層の畳み込み層とリLUの変種であるleaky ReLU活性化関数を用いたConvNetアーキテクチャを採用し、各ペアの畳み込み層の後にmax-pooling層を配置する。
• 入力データは、静的メルスペクトログラムと、さまざまな窓サイズで周波数ビンごとに計算された複数幅の周波数デルタ特徴量として準備される。
• MWFDデータ拡張は、静的特徴量とデルタ特徴量を別々の入力例として扱い、同じラベルを付与することで、ネットワークアーキテクチャを変更せずにトレーニングの多様性を向上させる。
• 新規の出力アグリゲーション手法、畳み込み平均アグリゲーションは、個々の分析ウィンドウからの確率を乗算した後に平均化することで、入力タイプ間の判別パターンを保持する。
• ハイパーパramータを最適化するため、5分割交差検証を用いてDCASE 2016データセットに本手法を適用する。
• 特徴量学習の進行を分析するためにt-SNE可視化を用い、深層畳み込み層を経るごとにクラス分離性が向上していることを確認した。

実験結果

リサーチクエスチョン

• RQ1 ConvNetベースのアプローチは、従来の手作業特徴抽出システムを上回る性能を発揮できるか？
• RQ2 静的メルスペクトログラムに加えて、複数幅の周波数デルタ特徴量を拡張入力として組み込むことで、分類精度が向上するか？
• RQ3 単純な平均化よりも、乗算によるアグリゲーション戦略（畳み込み平均）が、静的特徴量とデルタ特徴量からの予測をより効果的に統合できるか？
• RQ4 DCASE 2016データセットでは、DCASE 2013のような以前のベンチマークと比較して、本手法はどの程度の性能を示すか？
• RQ5 周波数デルタ特徴量を用いたデータ拡張は、トレーニングデータが限られる状況での性能低下をどの程度緩和できるか？

主な発見

• 提案されたConvNetシステムは、DCASE 2016データセットで平均分類精度0.778を達成し、MFFCとGMMを用いたベースラインシステムを上回った。
• MWFDデータ拡張を単独で適用した場合、精度は0.820に向上し、シンプルなConvNetに比べて顕著な性能向上が得られた。
• MWFD拡張と畳み込み平均アグリゲーションの組み合わせにより、15クラスの音響シーン分類タスクで最終的な精度は0.831に達した。
• MWFD拡張による性能向上は、大規模データセットで顕著に現れ、十分なトレーニングデータがある場合にその有効性が顕著に高まることを示唆している。
• t-SNE可視化により、畳み込み層が深くなるにつれて特徴表現の分離性が向上し、4番目のブロックで意味のあるクラスタリングが形成されていることが確認された。
• 本手法はロバスト性と一般化性能を示し、小規模なサブセットに適用しても標準偏差がわずかに減少するにとどまり、データ不足下でも安定性を保っていることが示された。