[論文レビュー] Acoustic Scene Classification Using Fusion of Attentive Convolutional Neural Networks for DCASE2019 Challenge

Hossein Zeinali, Lukáš Burget+1 more|arXiv (Cornell University)|Jul 13, 2019

Music and Audio Processing参考文献 13被引用数 6

ひとこと要約

本論文は、DCASE2019チャレンジにおける音響シーン分類のため、VGGに類似した構造、Light-CNN、およびx-vectorの3つのアテンション付き畳み込みニューラルネットワークを融合する手法を提示している。自己アテンションプーリングとキャリブレーションされたスコア平均化または多数決投票によるモデルアンサンブルを活用することで、公式バリデーションフォールドで平均77.0%の精度を達成し、ベースライン（62.5%）を著しく上回った。

ABSTRACT

In this report, the Brno University of Technology (BUT) team submissions for Task 1 (Acoustic Scene Classification, ASC) of the DCASE-2019 challenge are described. Also, the analysis of different methods is provided. The proposed approach is a fusion of three different Convolutional Neural Network (CNN) topologies. The first one is a VGG like two-dimensional CNNs. The second one is again a two-dimensional CNN network which uses Max-Feature-Map activation and called Light-CNN (LCNN). The third network is a one-dimensional CNN which mainly used for speaker verification and called x-vector topology. All proposed networks use self-attention mechanism for statistic pooling. As a feature, we use a 256-dimensional log Mel-spectrogram. Our submissions are a fusion of several networks trained on 4-folds generated evaluation setup using different fusion strategies.

研究の動機と目的

• 音声表現学習に特化した深層ニューラルネットワークを用いて、音響シーン分類の性能を向上させること。
• 可変長の音声セグメントとクラス不均衡の課題に対処するため、頑健でアテンションに配慮したアーキテクチャを設計すること。
• クロスバリデーションのスプリットで訓練された多様なCNNトポロジーのモデル融合を通じて、一般化性能と頑健性を向上させること。
• 自己アテンションプーリングが音声シーンの顕著な時間的特徴を捉える上で、平均プーリングよりも有効であるかを検証すること。
• 低リソースでオープンセット分類設定における複数モデルの統合に適した戦略として、キャリブレーションされたスコア平均化と多数決投票の有効性を評価すること。

提案手法

• 入力特徴として、2048点のハミング窓と430サンプルのオーバーラップを用いたSTFTにより得られた、モノラルで平均が除去された音声信号からの256次元のログメルスペクトログラムを採用した。
• 3種類の異なるCNNアーキテクチャを訓練した：6つのリプルスブロックを有するVGGに類似した2次元CNN、チャネル数を半減させるためにMax-Feature-Map（MFM）活性化関数を用いたLight-CNN、および時間的埋め込み学習を目的とした1次元CNN（x-vectorトポロジー）。
• プーリング層に自己アテンション機構を統合し、重み付き平均および標準偏差を計算することで、均一な平均化ではなく、情報量の多い時間フレームに動的に注目できるようにした。
• 過学習を軽減し一般化性能を向上させるために、512フレーム（10秒）のセグメントから128フレームのランダムクロップを用いて学習を行った。
• 開発データに対して4-foldクロスバリデーションを実装し、モデルの評価と訓練を堅牢に行う一方で、全フォールドからの出力を用いたモデル統合を実施した。
• 2つの戦略を用いてモデルを統合した：(1) FoCal Multiclassツールボックス（ロジスティック回帰に基づく統合）を用いたキャリブレーションされたスコア平均化、および(2) 予測クラスの多数決に、同点の場合の優先順位を統合スコアで決定する手法。

実験結果

リサーチクエスチョン

• RQ1 自己アテンションプーリングは、従来の平均プーリングと比較して、音響シーン分類性能をどのように向上させるか？
• RQ2 複数モデルアンサンブルにおいて、VGGに類似した構造、Light-CNN、x-vectorトポロジーの相対的寄与度は何か？
• RQ3 128フレームのランダムクロップで学習させることで、10秒セグメント全体を用いた学習と比較して、一般化性能が向上するか？
• RQ4 音響シーン分類におけるモデル統合において、キャリブレーションされたスコア平均化と多数決投票の有効性はどの程度か？
• RQ5 開発データに対して4-foldクロスバリデーションを実施することで、公式バリデーションフォールドよりも信頼性の高い性能推定が得られるか？

主な発見

• 統合システムは、公式DCASE2019バリデーションフォールドで平均77.0%の精度を達成し、ベースラインシステム（62.5%）を著しく上回った。
• x-vectorトポロジーは、公園（92.9%）およびストリートトラフィック（90.6%）のシーンで最高の個別精度を記録し、高変動性環境下でも優れた性能を示した。
• Light-CNNとVGGに類似したネットワークは、それぞれ地下鉄駅（75.2%）およびバス（92.7%）のシーンで優れた性能を示し、アーキテクチャの特化が顕著に現れた。
• 自己アテンションプーリングは、一時的なイベントを伴うシーンにおいて、平均プーリングよりも性能を向上させた。これは、情報量の多いフレームに注目できるからである。
• キャリブレーションされたスコア平均化戦略は、同点予測が生じる状況でも多数決投票を上回った。これは、より優れたスコアキャリブレーションが可能だったためである。
• 128フレームのランダムクロップで学習させることで、全セグメント学習に比べて一般化性能が向上し、過学習が軽減され、より頑健な性能が得られた。