[論文レビュー] audioLIME: Listenable Explanations Using Source Separation

Verena Haunschmid, Ethan Manilow+1 more|arXiv (Cornell University)|Aug 2, 2020

Music and Audio Processing参考文献 6被引用数 7

ひとこと要約

audioLIME は、スペクトラム領域の摂動ではなく音源分離を用いて個々の音声源（例：ボーカル、ドラム）を摂動することで、聴取可能で知覚的に意味のある説明を生成する、モデルに依存しない音楽タギングシステムの説明手法である。これは、スペクトラムベースおよび波形ベースのモデルからの予測を説明する際、SLIME よりも優れた性能を示し、特に波形入力において顕著である。得られる説明は解釈可能であり、同時に知覚的に妥当である。

ABSTRACT

Deep neural networks (DNNs) are successfully applied in a wide variety of music information retrieval (MIR) tasks but their predictions are usually not interpretable. We propose audioLIME, a method based on Local Interpretable Model-agnostic Explanations (LIME) extended by a musical definition of locality. The perturbations used in LIME are created by switching on/off components extracted by source separation which makes our explanations listenable. We validate audioLIME on two different music tagging systems and show that it produces sensible explanations in situations where a competing method cannot.

研究の動機と目的

• 音楽情報検索（MIR）タスクに用いられる深層ニューラルネットワーク（DNN）における解釈不能性の問題に対処すること。
• 従来の LIME ベース手法がスペクトラムベースの摂動を用いるため、知覚的に意味がなく聴取できないという制限を克服すること。
• 音源分離によって音声の音楽的構造を保持することで、解釈可能で聴取可能な説明を生成する手法を開発すること。
• audioLIME が生成する説明が、ブラックボックス音楽タギングモデルの意思決定プロセスを正確に反映していることを検証すること。
• 特に波形ベースの音楽タギングモデルにおいて、本手法の有効性を示すこと。

提案手法

• audioLIME は、LIME フレームワークを拡張し、解釈可能な特徴を音源分離によって抽出された音声成分（例：ピアノ、ボーカル、ドラム）のオン／オフの二値状態として定義する。
• 音声を τ 個の時間的セグメントに分割し、C × τ 個の解釈可能なコンポーネント（C 個の音源が τ 個の時間フレームにわたる）を生成することで、細かく制御された摂動を可能にする。
• 摂動は、二値ベクトル z′ で選択されたみずからのみを混合することで生成され、元の音声と類似した知覚的特性を保った新しい混合音声 z を得る。
• 2^14 個の摂動サンプル上で L2 正則化を施した線形サーヴェイモデルを訓練し、ブラックボックスモデルの予測に最も影響を与える音源コンポーネントを同定する。
• 本手法は、ターゲットモデルの入力表現（波形またはスペクトラム）に依存しないため、SampleCNN のような波形ベースのモデルの説明も可能である。
• 音源分離には Spleeter を用い、上位 k 個の選択されたコンポーネントを再びタッガーに供給して予測の一貫性をテストすることで説明を評価する。

実験結果

リサーチクエスチョン

• RQ1 音源分離に基づく摂動は、音楽タギングモデルに対して解釈可能で知覚的に意味のある（すなわち聴取可能な）説明を生成できるか？
• RQ2 特に波形ベースの音楽タギングモデルにおいて、audioLIME は SLIME よりも信頼性の高い説明を生成できるか？
• RQ3 audioLIME は、従来の LIME ベース手法が失敗する、生波形を入力とするモデルの予測を説明できるか？
• RQ4 上位 k 個のコンポーネントのみを用いた場合、audioLIME の説明は元のモデルの予測をどの程度正確に保持できるか？
• RQ5 audioLIME が生成する説明は、人間の音楽的コンテンツ認識（例：『女性ボーカリスト』タグに対してボーカルを特定する）と整合性を持つか？

主な発見

• audioLIME は、上位 k 個のコンポーネントを用いた際、SLIME やランダムベースラインよりも高い予測の一貫性を達成した。特に FCN と SampleCNN の両モデルで k=4 の際に最高の性能を示した。
• FCN モデルでは、audioLIME が予測において『女性ボーカリスト』を主要因として正しく特定し、上位3つのコンポーネントが女性歌手の分離ボーカルであった。
• ロック音楽の予測において、audioLIME は力強いドラムセットと歪んだギターを強調しており、ロックジャンルに合致する音楽的要素を示しており、知覚的関連性を裏付けた。
• audioLIME は、スペクトラムベースの FCN と波形ベースの SampleCNN の両方で SLIME を上回り、入力表現に依存しないモデルの説明が可能であることを示した。
• 従来の LIME ベース手法が説明できない、生波形を入力とするモデルに対しても、audioLIME はその堅牢性を示した。これは、聴取可能で音源ベースの摂動戦略によるものである。
• 評価により、audioLIME の説明は正確であるだけでなく、知覚的に妥当であることも確認され、ブラックボックスモデルの意思決定に対する信頼性が向上した。