[論文レビュー] Feature Pyramid Attention based Residual Neural Network for Environmental Sound Classification

Liguang Zhou, Yuhongze Zhou+4 more|arXiv (Cornell University)|May 28, 2022

Music and Audio Processing被引用数 6

ひとこと要約

本稿では、スペクトログラム内の意味的に関連する時間的・周波数的領域を明示的に局在化することで、環境音分類を向上させる特徴ピラミッド注意ネットワーク（FPAM）を提案する。多スケール特徴にピラミッド空間的およびチャネル的注意モジュールを統合することで、FPAMはESC-50およびESC-10で最先端の性能を達成し、それぞれ91.6%および99.3%の正確度を示した。同時に、注意マップの可視化により、不要なノイズや静音フレームを効果的にフィルタリングしていることが確認された。

ABSTRACT

Environmental sound classification (ESC) is a challenging problem due to the unstructured spatial-temporal relations that exist in the sound signals. Recently, many studies have focused on abstracting features from convolutional neural networks while the learning of semantically relevant frames of sound signals has been overlooked. To this end, we present an end-to-end framework, namely feature pyramid attention network (FPAM), focusing on abstracting the semantically relevant features for ESC. We first extract the feature maps of the preprocessed spectrogram of the sound waveform by a backbone network. Then, to build multi-scale hierarchical features of sound spectrograms, we construct a feature pyramid representation of the sound spectrograms by aggregating the feature maps from multi-scale layers, where the temporal frames and spatial locations of semantically relevant frames are localized by FPAM. Specifically, the multiple features are first processed by a dimension alignment module. Afterward, the pyramid spatial attention module (PSA) is attached to localize the important frequency regions spatially with a spatial attention module (SAM). Last, the processed feature maps are refined by a pyramid channel attention (PCA) to localize the important temporal frames. To justify the effectiveness of the proposed FPAM, visualization of attention maps on the spectrograms has been presented. The visualization results show that FPAM can focus more on the semantic relevant regions while neglecting the noises. The effectiveness of the proposed methods is validated on two widely used ESC datasets: the ESC-50 and ESC-10 datasets. The experimental results show that the FPAM yields comparable performance to state-of-the-art methods. A substantial performance increase has been achieved by FPAM compared with the baseline methods.

研究の動機と目的

• 構造のない空間的・時間的パターンと、事前の意味的構造の欠如により、環境音分類が困難であるという課題に対処すること。
• すべての領域を同等に扱うのではなく、意味的に関連するフレームに明示的に注目することで、CNNベースのモデルにおける特徴学習を改善すること。
• 多スケールの階層的特徴と空間的およびチャネル的注意機構を統合し、顕著な音響パターンをより良い表現で捉えること。
• 標準的なESCデータセットにおけるベンチマーク評価と可視化を通じて、提案された注意機構の有効性を検証すること。

提案手法

• 本手法は、音声波形のログメルスペクトログラムから多スケールの特徴マップを抽出するバックボーンCNNで始まる。
• 特徴のスケール間での次元を揃えるモジュールが、統合前の特徴を正規化する。
• ピラミッド空間的注意（PSA）モジュールは、特徴マップ上の空間的注意機構を用いて、重要な周波数領域を局在化する。
• ピラミッドチャネル的注意（PCA）モジュールは、スケールをまたいで関連する時間的フレームを強調することで特徴を精緻化する。
• 統合された注意モジュールは階層的に適用され、識別的な領域を強調すると同時に、ノイズや静音フレームを抑制する。
• エンドツーエンドで訓練され、交差エントロピー損失が用いられ、一般化性能の向上を図るため、mix-upによるデータ拡張が含まれる。

実験結果

リサーチクエスチョン

• RQ1 多スケールの注意機構は、環境音スペクトログラムにおける意味的に関連するフレームの局在化を改善できるか？
• RQ2 ピラミッド空間的およびチャネル的注意の統合は、標準的なCNNと比較して、ESC分類のための特徴表現をどの程度向上させるか？
• RQ3 提案されたFPAMは、スペクトログラムベースの分類において、ノイズや静音フレームへの依存をどの程度低減するか？
• RQ4 注意機構は、事前の構造が限られる多様な環境音クラスにおいて、一般化性能とロバストネスを向上させるか？

主な発見

• FPAMはESC-50データセットで91.6%の正確度を達成し、ベースライン手法（86.2%）を顕著に上回り、最先端の性能に相当する。
• ESC-10データセットでは99.3%の正確度に達し、より小さなバランスの取れたデータセットにおいても強力な一般化性能を示した。
• 注意マップの可視化により、FPAMが顕著で意味的に関連する信号帯域を効果的に強調し、静音および無関係なフレームをフィルタリングしていることが確認された。
• アブレーションスタディの結果、mix-upデータ拡張をFPAMと組み合わせることで、さらに性能が向上し、ESC-50で90.5%、ESC-10で98.5%の正確度が達成された。
• 訓練曲線から、損失が減少し、正確度が上昇する滑らかな収束が観察され、安定的で効果的な最適化が行われていることが示された。
• 混同行列の結果、誤分類は主に類似した親カテゴリ間（例：天候関連の音）で発生しており、モデルが意味的な区別を適切に学習していることが示された。