[論文レビュー] XAI-based Comparison of Input Representations for Audio Event Classification

Annika Frommholz, Fabian Seipel+3 more|arXiv (Cornell University)|Apr 27, 2023

Music and Audio Processing被引用数 4

ひとこと要約

本論文では、音声イベント分類のための1D-CNN（生波形）とYAMNet（スペクトログラム）モデルの分類戦略を比較するために、DFT-LRPを用いた解釈可能なAI（XAI）を用いる。1D-CNNは、ピッチやスペクトルの変化に対してYAMNetよりもより分離可能で、クラス固有の特徴を学習しており、より頑健であることが判明した。

ABSTRACT

Deep neural networks are a promising tool for Audio Event Classification. In contrast to other data like natural images, there are many sensible and non-obvious representations for audio data, which could serve as input to these models. Due to their black-box nature, the effect of different input representations has so far mostly been investigated by measuring classification performance. In this work, we leverage eXplainable AI (XAI), to understand the underlying classification strategies of models trained on different input representations. Specifically, we compare two model architectures with regard to relevant input features used for Audio Event Detection: one directly processes the signal as the raw waveform, and the other takes in its time-frequency spectrogram representation. We show how relevance heatmaps obtained via "Siren"{Layer-wise Relevance Propagation} uncover representation-dependent decision strategies. With these insights, we can make a well-informed decision about the best input representation in terms of robustness and representativity and confirm that the model's classification strategies align with human requirements.

研究の動機と目的

• 生波形とスペクトログラムという異なる入力表現が、音声イベント分類におけるモデル意思決定にどのように影響を与えるかを調査すること。
• モデルの分類戦略が人間の聴覚的認識と整合しているかどうかを評価すること。
• フィルタリングやピッチシフトなどの音声信号の変更に対するモデルの頑健性を比較すること。
• XAI技術を用いて、異なる入力表現間での潜在的意思決定メカニズムを明らかにし、対比すること。
• より解釈可能で頑健な分類戦略をもたらす入力表現を同定することで、今後のモデル設計を支援すること。

提案手法

• 生波形を処理する（1DCNN）と、時間周波数スペクトログラムを使用する（YAMNet）という2つのCNNアーキテクチャを採用した。
• DFT-LRPを用いて、モデル出力の関連性を人間が解釈可能な時間周波数ドメインに、入力特徴へと逆方向に伝播させた。
• 各時間周波数成分が分類意思決定に与える重要性を定量化するために、関連性ヒートマップを生成した。
• 特徴の分離性を評価するために、クラス内およびクラス間のコサイン類似度を計算した。
• テストサンプルにハイパス、ローパス、ピッチシフトの増幅を適用することで、モデルの頑健性を評価した。
• 関連性重心可視化を用いて、音声クラスごとの平均関連性パターンを比較した。

実験結果

リサーチクエスチョン

• RQ1 生波形で学習したモデルとスペクトログラムで学習したモデルの間で、特徴の関連性という観点から分類戦略にどのような差があるか。
• RQ2 モデルの意思決定プロセスは、人間の音声イベントに対する知覚的理解と整合しているか。
• RQ3 フィルタリングやピッチシフトなどの音声信号の変更に対して、どの入力表現がより頑健な分類をもたらすか。
• RQ4 関連性ヒートマップが、モデル内でどの程度クラス固有で分離可能な特徴を明らかにするか。
• RQ5 DFT-LRPの使用が、異なる入力表現間でのモデル行動の意味のある比較をどのように可能にするか。

主な発見

• 1DCNNモデルは、クラス内とクラス間の関連性類似度の差が顕著に大きい（0.207 対 0.076）ことから、より分離可能でクラス固有の特徴を学習していることが示された。
• YAMNetはクラス内とクラス間の類似度が両方とも高い（0.593 と 0.584）ため、特徴の識別性が低いことが示唆された。
• 1DCNNモデルは音声の変更に対してより頑健である：ハイパスフィルタリング（3000 Hz）では精度が4.41%低下するのみであるのに対し、YAMNetは18.19%低下した。
• 「サイレン」クラスに対して±7半音のピッチシフトを適用した場合、1DCNNは精度を9.67%低下させるが、YAMNetは25.00%低下させた。これはYAMNetがピッチに強く依存していることを示している。
• 関連性ヒートマップの分析から、YAMNetの意思決定はピッチ成分に強く影響を受けており、一方1DCNNは広範でより頑健な時間的特徴に依存していることが明らかになった。
• XAI分析により、1DCNNの戦略が人間の知覚とより整合しており、誤った相関に起因する影響を受けにくいことが確認された。