[論文レビュー] Environmental Sound Classification with Parallel Temporal-spectral Attention

Helin Wang, Yuexian Zou+2 more|View|Dec 14, 2019

Music and Audio Processing参考文献 9被引用数 8

ひとこと要約

本稿では、畳み込みニューラルネットワーク（CNN）に並列な時系列・周波数スペクトル注意力機構を提案し、関連する時間フレームと周波数帯域を別々に注目することで、環境音分類の性能を向上させる。時系列と周波数スペクトルの注意力を並列なブランチで適用することにより、特徴の判別力が向上し、ESC-10で95.8%、ESC-50で88.6%という最先端の精度を達成するとともに、複数のデータセットでノイズ耐性が向上した。

ABSTRACT

Convolutional neural networks (CNN) are one of the best-performing neural network architectures for environmental sound classification (ESC). Recently, temporal attention mechanisms have been used in CNN to capture the useful information from the relevant time frames for audio classification, especially for weakly labelled data where the onset and offset times of the sound events are not applied. In these methods, however, the inherent spectral characteristics and variations are not explicitly exploited when obtaining the deep features. In this paper, we propose a novel parallel temporal-spectral attention mechanism for CNN to learn discriminative sound representations, which enhances the temporal and spectral features by capturing the importance of different time frames and frequency bands. Parallel branches are constructed to allow temporal attention and spectral attention to be applied respectively in order to mitigate interference from the segments without the presence of sound events. The experiments on three environmental sound classification (ESC) datasets and two acoustic scene classification (ASC) datasets show that our method improves the classification performance and also exhibits robustness to noise.

研究の動機と目的

• 既存のCNNにおける環境音分類のための注意力機構が、時系列のダイナミクスに注目する一方で周波数変動を無視するという限界を是正すること。
• スペクトログラム内の異なる周波数帯域と時間フレームの重要性を明示的にモデル化し、特徴の判別力を向上させること。
• 時系列と周波数スペクトルの特徴の干渉を回避するため、独立した注意力計算を可能にする並列アーキテクチャを採用すること。
• 特に音声イベントの境界が提供されていない弱教師あり状況においても、ノイズに強いモデルの性能を向上させること。
• 環境音分類（ESC）および音響シーン分類（ASC）の両タスクにおいて、本手法の有効性を検証すること。

提案手法

• 同じ特徴マップに適用する2つの別々のブランチ（時系列注意力用と周波数スペクトル注意力用）を持つ、並列な時系列・周波数スペクトル注意力機構を設計した。
• 時系列注意力は、グローバル平均プーリングと学習可能な重みベクトルを用いて、時間フレームに沿った注意力重みを計算し、関連する時間的セグメントに注目する。
• 周波数スペクトル注意力は、時間軸に沿ったグローバル平均プーリングを用いて周波数帯域に沿った注意力重みを計算し、人間の聴覚皮質の周波数選択性フィルタリングを模倣した。
• 注意力マップは要素ごとの乗算により入力特徴マップに適用され、関連する時間周波数領域を強化するとともに、ノイズや無関係な成分を抑制する。
• 並列構造により、時系列と周波数スペクトルの注意力ブランチ間の干渉を防止し、ノイズ条件下でも安定性と耐性が向上する。
• 本機構はCNNアーキテクチャ（TS-CNN10）に統合可能であり、任意の畳み込み層に適用可能であり、アブレーションスタディにより、特に深層層で性能向上が確認された。

実験結果

リサーチクエスチョン

• RQ1 並列な時系列・周波数スペクトル注意力機構は、環境音分類のためのCNNにおける特徴表現を向上させることができるか？
• RQ2 時間フレームと周波数帯域を別々に注目することは、統合的または逐次的な注意力機構よりも優れた性能をもたらすか？
• RQ3 音声イベントの境界が提供されていない状況でも、ノイズ条件下での本手法の性能はどの程度か？
• RQ4 本注意力機構は、音響シーン分類などの他の音声分類タスクにも一般化可能か？
• RQ5 並列アーキテクチャは、時系列と周波数スペクトル特徴学習の干渉を低減させ、耐性向上に寄与するか？

主な発見

• 提案されたTS-CNN10モデルは、ESC-10データセットで95.8%という最先端の精度を達成し、人間水準を上回った。
• ESC-50データセットでは、クリーンな条件下でベースラインのCNN10よりも3.4%の精度向上を達成した。
• ノイズ条件下では、ガウスノイズを10 dB SNRで加えた状況でも、CNN10に比べて5.4%の精度向上を示した。
• DCASE 2018および2019のASCベンチマークデータセットでも性能が向上し、音響シーン分類への一般化性を確認した。
• 可視化結果から、TS-CNN10は特徴マップにおけるノイズ活性化領域を効果的に抑制するとともに、関連する時間周波数領域の活性化を保持していることがわかった。
• アブレーションスタディにより、並列構造が連結型や逐次型注意力バージョンを上回り、特に深層層で注意力機構の恩恵が顕著に現れた。