[論文レビュー] Data Representing Ground-Truth Explanations to Evaluate XAI Methods

Shideh Shams Amiri, Rosina O. Weber+5 more|arXiv (Cornell University)|Nov 18, 2020

Explainable Artificial Intelligence (XAI)参考文献 26被引用数 5

ひとこと要約

本論文は、ニューラルネットワーク分類タスクにおける特徴量の重要度を定義する標準方程式を用いて、XAI手法の評価を目的とした、真の説明（GTEs）を表す合成データを生成する新規手法を提案する。3つのベンチマークデータセットを構築し、LIMEをこれらのGTEsに対して評価することで、現在のXAI評価には一貫性と説明責任が欠けていることが示され、GTEに基づく評価が、LIMEの摂動サンプリングへの感受性といったメソッド論的欠陥を明らかにできることを示した。これにより、より厳密で再現可能かつ説明責任のあるXAI研究が可能になる。

ABSTRACT

Explainable artificial intelligence (XAI) methods are currently evaluated with approaches mostly originated in interpretable machine learning (IML) research that focus on understanding models such as comparison against existing attribution approaches, sensitivity analyses, gold set of features, axioms, or through demonstration of images. There are problems with these methods such as that they do not indicate where current XAI approaches fail to guide investigations towards consistent progress of the field. They do not measure accuracy in support of accountable decisions, and it is practically impossible to determine whether one XAI method is better than the other or what the weaknesses of existing models are, leaving researchers without guidance on which research questions will advance the field. Other fields usually utilize ground-truth data and create benchmarks. Data representing ground-truth explanations is not typically used in XAI or IML. One reason is that explanations are subjective, in the sense that an explanation that satisfies one user may not satisfy another. To overcome these problems, we propose to represent explanations with canonical equations that can be used to evaluate the accuracy of XAI methods. The contributions of this paper include a methodology to create synthetic data representing ground-truth explanations, three data sets, an evaluation of LIME using these data sets, and a preliminary analysis of the challenges and potential benefits in using these data to evaluate existing XAI approaches. Evaluation methods based on human-centric studies are outside the scope of this paper.

研究の動機と目的

• 真の説明（GTEs）を表すデータを導入することで、XAI分野における一貫性と説明責任の欠如を是正すること。
• 人間の研究や公理、ヒューリスティックな指標に依存する現在のXAI評価手法の限界を克服し、説明の正確性を測定できず、メソッド論的進展を導けない問題を解決すること。
• 既知の特徴量の重要度を備えた合成データを用いて、検証可能で再現可能なベンチマークフレームワークを構築し、XAI手法の客観的比較を可能にすること。
• GTEに基づく評価が、LIMEの摂動サンプリングへの感受性といった既存のXAI手法の弱みをどのように露呈できるかを示すこと。

提案手法

• 分類タスクにおける特徴量の重要度を符号化する標準方程式を定義することで、真の説明を表す合成データを生成する手法を開発すること。
• 特徴量の重要度が数学的方程式で明示的に定義された3つのベンチマークデータセット（Loan、Iris、および3特徴量の合成データセット）を構築すること。
• 各データセットで100％の正確性を達成する全結合ニューラルネットワークを訓練し、モデルの挙動がGTEと一貫しており、決定論的であることを保証すること。
• 異なる数の摂動サンプル（例：5、50）を用いて、訓練済みモデルにLIMEを適用し、LIME形式の説明を生成すること。
• 標準方程式から得られる真の特徴量の重要度を、LIMEと互換性のある形式に変換し、直接比較可能にする。
• コサイン類似度と固定されたハイパーパramータを用いたリッジ回帰を用いて、LIMEの説明をGTEと比較し、適合性と一貫性を評価すること。

実験結果

リサーチクエスチョン

• RQ1 特徴量の重要度が数学的に定義された合成データが、XAI手法の評価における信頼できる真の説明として機能できるか？
• RQ2 現在の評価指標が、高品質な説明と意図的に良い結果を得た説明を区別できないのはなぜか？GTEはこのような欠陥をどのように露呈できるか？
• RQ3 既知の真の説明に対して評価した場合、LIMEの性能は摂動サンプルの数にどのように依存するか？
• RQ4 摂動のデータ範囲や精度に関する知識が欠如していると、LIMEの説明精度がどの程度劣化するか？
• RQ5 GTEに基づく評価は、XAI研究分野における一貫性、説明責任、再現可能性を高めるのにどの程度寄与できるか？

主な発見

• LIMEの性能は摂動サンプルの数に強く依存しており、Loanデータセットのほぼ全インスタンス（50サンプル）を用いても、最も正確な説明が得られたわけではない。これは、サンプリング戦略における欠陥を示している。
• 評価結果から、より多くのサンプル数が、実際の適合性に改善がなくても、一貫した指標スコアをもたらす「人工的に良い結果」を生み出す可能性があることが判明した。
• LIMEの説明と真の説明との乖離は、データ範囲や精度に関する知識の欠如に起因しており、これらの情報を提供することでLIMEの精度を著しく向上できる可能性がある。
• 全評価指標（例：コサイン類似度、適合性）が、50サンプルでの同一の人工的改善を一貫して特定したため、提案された評価フレームワークの信頼性が裏付けられた。
• 本研究は、GTEに基づく評価が、LIMEが既知のデータ制約を活用しないというメソッド論的欠陥を明らかにできることを示し、今後の改善を導く手がかりを提供した。
• 提案されたフレームワークは、測定可能で検証可能かつ再現可能なXAI手法の評価を可能にし、分野全体における説明責任と体系的な進歩への道筋を示している。