[論文レビュー] Tracing Back Music Emotion Predictions to Sound Sources and Intuitive Perceptual Qualities

Shreyan Chowdhury, Verena Praher+1 more|arXiv (Cornell University)|Jun 14, 2021

Music and Audio Processing参考文献 31被引用数 6

ひとこと要約

本稿では、音声LIMEとミドルレベルの知覚的特徴を用いて、音楽感情予測を直感的な知覚的品質および下位の音源にまで遡及させる二段階の説明フレームワークを提案する。モデルの予測を解釈可能な音声コンポONENTに結びつけることで、偏りのあるモデルのデバッグが可能となり、バランスの取れたデータでの再訓練によって予測が改善される仕組みが明らかになり、音楽感情認識におけるモデルの解釈可能性と信頼性が向上することを示している。

ABSTRACT

Music emotion recognition is an important task in MIR (Music Information Retrieval) research. Owing to factors like the subjective nature of the task and the variation of emotional cues between musical genres, there are still significant challenges in developing reliable and generalizable models. One important step towards better models would be to understand what a model is actually learning from the data and how the prediction for a particular input is made. In previous work, we have shown how to derive explanations of model predictions in terms of spectrogram image segments that connect to the high-level emotion prediction via a layer of easily interpretable perceptual features. However, that scheme lacks intuitive musical comprehensibility at the spectrogram level. In the present work, we bridge this gap by merging audioLIME -- a source-separation based explainer -- with mid-level perceptual features, thus forming an intuitive connection chain between the input audio and the output emotion predictions. We demonstrate the usefulness of this method by applying it to debug a biased emotion prediction model.

研究の動機と目的

• 音楽感情認識モデルにおける直感的で音楽的に意味のある説明の不足に対処すること。
• 解釈可能な知覚的中間特徴を介して、低レベルの音声特徴と高レベルの感情予測の間のギャップを埋めること。
• 誤った予測を特定の音源と知覚的特徴にまで遡及させることで、モデルバイアスの検出とデバッグを可能にすること。
• ミドルレベルの知覚的特徴とソース分離コンポONENTを介して、生の音声から感情ラベルへの階層的説明チェーンを構築すること。
• 偏りのある感情モデルを対象に本手法を検証し、再訓練後のモデル改善が説明から予測・検証可能であることを示すこと。

提案手法

• 音声LIME（ソース分離に基づく説明手法）とミドルレベルの知覚的特徴を統合し、音楽的に解釈可能な説明を生成する。
• 二段階の説明プロセスを採用：まず関連するミドルレベルの知覚的特徴を特定し、次にそれらを入力音声内の特定の音源にまで遡及させる。
• LIMEに類似した局所的代替モデルを用い、ソース分離された音声コンポONENTを解釈可能な特徴として、ミドルレベル特徴空間における予測を説明する。
• Spleeterなどのソース分離モデルを用いて、音声を明確に分離された音源（例：ボーカル、ドラム、ベース）に分解し、説明に用いる。
• ソース寄与度を変化させ、モデル予測の変化を観察することで、影響力のあるコンポONENTを同定する。
• ミドルレベル特徴と感情予測の間に線形関係を設けることで、追跡可能性と解釈可能性を実現する。

実験結果

リサーチクエスチョン

• RQ1 音楽感情予測は、直感的で知覚的に意味のある音声コンポONENTに基づいてどのように説明可能か？
• RQ2 階層的説明フレームワークは、解釈可能なミドルレベルの知覚的特徴を介して、高レベルの感情予測と低レベルの音源の間に結びつけられるか？
• RQ3 この手法は、音楽感情認識におけるモデルバイアスをどの程度明らかに・デバッグ可能か？
• RQ4 トレーニングデータの分布の変化がモデル行動に与える影響は何か？説明はその変化を予測できるか？
• RQ5 この手法は、解釈可能性を通じてモデル改善のための実行可能なインサイトを提供できるか？

主な発見

• 本手法は、偏りのある感情モデルにおける誤った予測を、特定のミドルレベルの知覚的特徴とその寄与音源にまで遡及させることに成功し、モデルの欠陥の診断が可能になった。
• 説明により、レアジャンルで性能が低いモデルは、トレーニングデータにそのジャンル特有の音源が十分に含まれていないことが判明した。
• レアジャンルのモデル予測パターンは、特定の音源（例：ドラムやボーカル）に結びつく単一のミドルレベル知覚的特徴に起因しており、データの不均衡問題が確認された。
• バランスの取れたデータセットで再訓練した後、モデルの予測は説明に基づく期待と整合的になり、本手法の予測能力が検証された。
• 音声LIMEとミドルレベル特徴の統合により、生の音声から感情への音楽的に解釈可能な説明チェーンが構築され、モデルの信頼性とデバッグ可能性が向上した。
• 本アプローチは、再訓練後のモデル行動変化の定性的な検証を可能にし、モデル開発および公平性評価における実用性を示している。