[論文レビュー] Attention based Convolutional Recurrent Neural Network for Environmental Sound Classification

Zhichao Zhang, Shugong Xu+3 more|arXiv (Cornell University)|Jul 4, 2019

Music and Audio Processing参考文献 25被引用数 10

ひとこと要約

本論文は、フレームレベルのアテンションを畳み込み再帰ニューラルネットワーク（CNN-RNN）アーキテクチャに統合することで、意味的に関連性があり顕著なフレームに注目する、注目型畳み込み再帰ニューラルネットワーク（ACRNN）を提案する。この手法は、ESC-10で93.7%、ESC-50で86.1%の最先端の正確度を達成し、無音および関連性のないフレームを効果的にフィルタリングするアテンション機構により、先行モデルを著しく上回る性能を発揮する。

ABSTRACT

Environmental sound classification (ESC) is a challenging problem due to the complexity of sounds. The ESC performance is heavily dependent on the effectiveness of representative features extracted from the environmental sounds. However, ESC often suffers from the semantically irrelevant frames and silent frames. In order to deal with this, we employ a frame-level attention model to focus on the semantically relevant frames and salient frames. Specifically, we first propose an convolutional recurrent neural network to learn spectro-temporal features and temporal correlations. Then, we extend our convolutional RNN model with a frame-level attention mechanism to learn discriminative feature representations for ESC. Experiments were conducted on ESC-50 and ESC-10 datasets. Experimental results demonstrated the effectiveness of the proposed method and achieved the state-of-the-art performance in terms of classification accuracy.

研究の動機と目的

• 環境音分類における無音および意味的に関連性のないフレームの課題に対処すること。
• フレームレベルのアテンションをCNN-RNNアーキテクチャに統合することで特徴表現を向上させること。
• 生波形の融合なしにスペクトログ램特徴のみを用いて、公開のESCデータセットで最先端の性能を達成すること。
• ネットワークアーキテクチャにおけるアテンションを適用する最適なレイヤーを特定すること。

提案手法

• 入力としてログ・ギャマトーンスペクトログラムを用い、STFTおよび128バンドのギャマトーンフィルターバンクを介して抽出する。
• 1次元畳み込み層2段と双方向GRUを組み合わせた畳み込み再帰ニューラルネットワーク（CRNN）を設計し、スペクトログラム的・時間的特徴および順序的特徴を捉える。
• フレームレベルのアテンション機構を適用し、隠れ状態のGRUから得られる特徴に基づいて関連するフレームを選択的に強調する。
• アテンション機構は複数のレイヤー（l2, l4, l6, l8, l10）で評価され、最終的なRNNレイヤー（l10）に適用した際に最高の性能が得られた。
• 一般化および耐性を向上させるために、時間伸縮、ピッチシフト、ミックスアップを用いたデータ拡張を実施する。
• 最終的なアーキテクチャは、CNN特徴抽出、双方向GRU時間的モデリング、エンド・トゥ・エンドで学習可能なアテンションベースのフレーム選択を統合する。

実験結果

リサーチクエスチョン

• RQ1 ネットワークアーキテクチャのどの部分にフレームレベルのアテンションを適用すると、性能向上が最も顕著に現れるか？
• RQ2 アテンション機構は、環境音分類において無音および関連性のないフレームを効果的に抑制できるか？
• RQ3 CNN層とRNN層の両方にアテンションを統合することで、標準のCRNNと比較して分類精度が向上するか？
• RQ4 生波形またはマルチストリーム特徴を用いる最先端のモデルと比較して、提案されたACRNNはどのように差をつけるか？

主な発見

• ACRNNはESC-10データセットで93.7%、ESC-50データセットで86.1%の最先端の分類正確度を達成し、既存のモデルを上回った。
• 最終的なRNNレイヤー（l10）にアテンションを適用した場合が最高の正確度を示し、無アテンションと比較してESC-10で0.7%、ESC-50で1.5%の絶対的向上を達成した。
• データ拡張と組み合わせてもアテンション機構が性能向上に寄与しており、不要なフレームのフィルタリングにおいて耐性と有効性を示した。
• 生波形の融合なしにスペクトログラム特徴のみを用いても優れた結果を達成した一方で、WaveMsNet や Multi-Stream CNN などのモデルは生波形とスペクトログラムの融合を必要としていた。
• 混同行列の分析から、チャーチベルは100%の正確度を示したが、ヘリコプターは52.5%の正確度にとどまり、主に飛行機と音響的に類似していることが誤分類の主な要因であった。
• 初期のCNNレイヤー（例：l2）にアテンションを適用しても性能向上がわずかに見られたが、RNNレイヤーに適用した場合ほど効果的ではなかった。