[論文レビュー] Two-level Explanations in Music Emotion Recognition

Verena Haunschmid, Shreyan Chowdhury+1 more|arXiv (Cornell University)|May 28, 2019

Music and Audio Processing参考文献 4被引用数 5

ひとこと要約

本論文は、音声スペクトログラムと解釈可能な中レベルの知覚的特徴（例：アーティキュレーション、緊張感）をつなぎ、さらに感情予測へとつなげる二段階の説明可能なAIフレームワークを提案する。線形の感情ヘッドとLIMEに基づく音声から中レベル特徴への説明を組み合わせることで、視覚的および音響的に解釈可能な説明を生成し、感情制御のためのトレーサブルでターゲットを絞った音声操作を可能にする。

ABSTRACT

Current ML models for music emotion recognition, while generally working quite well, do not give meaningful or intuitive explanations for their predictions. In this work, we propose a 2-step procedure to arrive at spectrogram-level explanations that connect certain aspects of the audio to interpretable mid-level perceptual features, and these to the actual emotion prediction. That makes it possible to focus on specific musical reasons for a prediction (in terms of perceptual features), and to trace these back to patterns in the audio that can be interpreted visually and acoustically.

研究の動機と目的

• 音楽感情認識におけるディープラーニングモデルの解釈不能性の問題に対処すること。
• 抽象的な感情予測と具体的な音声特徴の間のギャップを、中レベルの知覚的表現によって埋めること。
• 音声スペクトログラムと中レベル特徴を結びつけることで、安定的で視覚的に解釈可能かつ音響的に意味のある説明を生成すること。
• 感情予測に最も寄与するスペクトログラム領域を特定することで、ターゲットを絞った音声変更を可能にすること。
• 音楽における制御可能な感情表現を要する応用分野におけるモデルの透明性を向上させること。

提案手法

• 7つの中レベルの知覚的特徴を予測する共有された中間層を備えたVGGスタイルのCNNと、8つの感情的性質を予測する最終的な線形層を採用する。
• 中レベル特徴と感情予測の両方を同時に最適化するための統合損失関数を用いた共同学習。
• 音声から中レベルへの変換に対して、LIMEベースの説明手法を適用し、変更を加えたスペクトログラムサンプルを用いて顕著な画像領域を同定する。
• 最適なスペクトログラム分割を実現するため、Felzenszwalbのセグメンテーションアルゴリズムを用い、スケール=25、最小サイズ=40を設定する。
• p値と重み比のしきい値（10^-6）を用いた自動特徴選択により、説明の複雑さを安定化・低減する。
• 重み付きスペクトログラムセグメントから音声再合成を行い、影響力のある特徴を強調した「強化済み」バージョンを生成する。

実験結果

リサーチクエスチョン

• RQ1 中レベルの知覚的特徴を導入することで、二段階モデルが音楽感情認識における解釈可能性を向上させることができるか？
• RQ2 LIMEは、音声から中レベルへの予測に対して、安定的で視覚的に解釈可能なスペクトログラムレベルの説明を生成するためにどのように適合可能か？
• RQ3 同定されたスペクトログラムセグメントが、アーティキュレーションやリズミカルな複雑さといった知覚的に意味のある音楽的性質に対応している程度はどの程度か？
• RQ4 説明を用いることで、感情的性質を制御的に変更できるターゲットを絞った音声変更が可能になるか？
• RQ5 サンプリングされた摂動の数が、スペクトログラムベースの説明におけるLIME説明の安定性と品質に与える影響はどの程度か？

主な発見

• 二段階モデルは、解釈不能なベースラインと同等の感情予測性能を達成しており、解釈可能性が精度を損なわないことを確認した。
• LIMEベースの説明は、「アーティキュレーション」と「エネルギー」の予測に寄与する特定のスペクトログラム領域（特にドラムが強いセグメント）を効果的に同定した。
• 50,000個の摂動サンプルを用いることで、デフォルトのLIME設定に比べて説明の安定性が著しく向上した。
• 10^-6のp値と重み比のしきい値を用いた自動特徴選択により、1インスタンスあたり30〜60の関連するスペクトログラムセグメントが効果的に選択され、ノイズが低減され解釈性が向上した。
• 正の重み付きセグメントからの再合成音声は、打楽器的要素の影響を明確に強調しており、説明の音響的妥当性を裏付けた。
• 本手法により、特定の音楽的特徴をより明瞭に聞こえるように強調した「強化済み」音声バージョンの作成が可能となり、感情指向の音声編集応用に有望であることが示された。