[論文レビュー] Do Feature Attribution Methods Correctly Attribute Features?

Yilun Zhou, Serena Booth+2 more|arXiv (Cornell University)|Apr 27, 2021

Explainable Artificial Intelligence (XAI)被引用数 16

ひとこと要約

本論文は、類似性マップ、根拠、注目メカニズムなどの手法の系統的評価を可能にするために、特徴の重要度を特定するための真のラベル（ground truth）を生成するための準自然的データセット変更手順を提案する。この手法により、実世界のモデルにおける誤った相関関係のデバッグにおいて信頼性を損なう、非情報的特徴（特にテキストにおける相関のない冠詞）に重要度を誤って割り当てる傾向が明らかになった。

ABSTRACT

Feature attribution methods are popular in interpretable machine learning. These methods compute the attribution of each input feature to represent its importance, but there is no consensus on the definition of "attribution", leading to many competing methods with little systematic evaluation, complicated in particular by the lack of ground truth attribution. To address this, we propose a dataset modification procedure to induce such ground truth. Using this procedure, we evaluate three common methods: saliency maps, rationales, and attentions. We identify several deficiencies and add new perspectives to the growing body of evidence questioning the correctness and reliability of these methods applied on datasets in the wild. We further discuss possible avenues for remedy and recommend new attribution methods to be tested against ground truth before deployment. The code is available at https://github.com/YilunZhou/feature-attribution-evaluation

研究の動機と目的

• 特徴の重要度評価手法に真のラベルが不足している問題に対処し、その正しさを信頼できる形で評価するのを妨げる要因を解消すること。
• 誤った相関関係が意図的に組み込まれた準自然的データセットを用いて、系統的な評価フレームワークを構築すること。
• 広く使われている重要度評価手法（類似性マップ、根拠、注目メカニズム）が、実際に操作された関連する特徴のみを正しく特定できるかを検証すること。
• 根拠となる単語（例：冠詞）のような非関連特徴に過剰に重要度を割り当てるような失敗モードを明らかにし、人間の解釈者を誤導する要因を特定すること。
• 将来的な重要度評価手法が、高リスク分野への導入前に真のラベルに基づいた検証を受けるべきであることを提言すること。

提案手法

• 自然なデータを体系的に変更することで、既知の人工的相関（例：画像にウォーターマークを追加、テキストに相関する語を挿入）を埋め込んだ準自然的データセットを作成する。
• これらの変更済みデータセットで高精度のモデルを学習させ、性能を達成するために導入された特徴に依存するように保証する。
• 学習済みモデルに3つの重要度評価手法（類似性マップ、根拠モデル（RLおよびCR）、注目メカニズム）を適用する。
• 真のラベルを、ラベルと相関するように意図的に操作されたすべての特徴の集合として定義し、その基準に対して重要度評価手法を評価する。
• 異なる選択率（%Sel）における正確性（precision）を用いて、手法が真の相関する特徴のみをどれだけ正確に特定できるかを測定する。
• 訓練手法（例：REINFORCE）が信頼性に与える影響を評価し、失敗パターン（例：根拠となる単語として相関のない語（冠詞）を選択する）を分析する。

実験結果

リサーチクエスチョン

• RQ1 変更済みデータセットにおいて、特徴の重要度評価手法は、意図的に組み込まれた真の関連特徴を正しく特定できるか？
• RQ2 類似性マップ、注目メカニズム、根拠モデルは、テキストにおける非情報的特徴（例：冠詞）にどれほど過剰に重要度を割り当てるか？
• RQ3 訓練手法（例：強化学習対教師あり学習）は、根拠選択の忠実性にどのように影響するか？
• RQ4 真のラベルが存在しない状況において、現在用いられている代理評価指標は、実際に正しい重要度の評価を適切に反映しているか？
• RQ5 モデルが誤った相関関係に依存する場合、重要度評価手法の失敗モードは何か。また、それらはどのように緩和できるか？

主な発見

• 特に強化学習で訓練された根拠モデルは、予測に影響しないにもかかわらず、冠詞のような相関のない語を頻繁に選択する。
• テキストにおける相関する特徴を特定する精度は著しく不十分であり、RLモデルは特に選択率が高い場合、理論上の最大値よりも顕著に低い精度を示した。
• 類似性マップと注目メカニズムも、操作された特徴のみを一貫して強調できず、不要な画像やテキストのアーティファクトに敏感であることが判明した。
• 本研究では、どの手法も完全に満足できる性能を達成できず、実世界での導入において広範な信頼性の欠如が示された。
• 結果から、現在の重要度評価手法は、非情報的特徴を強調することでユーザーを誤導し、真のモデルの推論を隠蔽する可能性があることが示唆された。
• 著者らは、新規の重要度評価手法が高リスク分野への導入前に真のラベルに基づいた厳密な評価を受けるべきであると提言している。