[論文レビュー] Evaluating the Correctness of Explainable AI Algorithms for Classification

Orcun Yalcin, Xiuyi Fan+1 more|arXiv (Cornell University)|May 20, 2021

Explainable Artificial Intelligence (XAI)参考文献 27被引用数 17

ひとこと要約

本稿では、形式的文法を用いて説明の正解が既知の合成データセットを生成することで、二値分類における説明可能AI（XAI）アルゴリズムの正しさを定量的に評価する手法を提案する。実験では、SHAPがLIMEを上回る説明の正確性を示し、データセットの複雑さ（G複雑度で測定）が高くなるにつれて分類性能および説明性能が低下することを示している。

ABSTRACT

Explainable AI has attracted much research attention in recent years with feature attribution algorithms, which compute "feature importance" in predictions, becoming increasingly popular. However, there is little analysis of the validity of these algorithms as there is no "ground truth" in the existing datasets to validate their correctness. In this work, we develop a method to quantitatively evaluate the correctness of XAI algorithms by creating datasets with known explanation ground truth. To this end, we focus on the binary classification problems. String datasets are constructed using formal language derived from a grammar. A string is positive if and only if a certain property is fulfilled. Symbols serving as explanation ground truth in a positive string are part of an explanation if and only if they contributes to fulfilling the property. Two popular feature attribution explainers, Local Interpretable Model-agnostic Explanations (LIME) and SHapley Additive exPlanations (SHAP), are used in our experiments.We show that: (1) classification accuracy is positively correlated with explanation accuracy; (2) SHAP provides more accurate explanations than LIME; (3) explanation accuracy is negatively correlated with dataset complexity.

研究の動機と目的

• 実世界のデータセットではXAI説明の正解が不足している問題に対処する。
• LIME や SHAP などの特徴量の寄与度を評価する手法を体系的かつ定量的にベンチマーク化する。
• 形式言語理論を用いて、二値分類における「正しい」説明を定義・測定する。
• モデル性能と説明の正確性の関係を調査する。
• 説明可能性に影響を与えるデータセットの複雑さを制御可能な指標としてG複雑度を導入する。

提案手法

• 形式的文法を用いて、正の文字列が文法で定義された特定の性質を満たす二値分類データセットを構築する。
• 説明の正解を、正の文字列においてその性質を満たすために寄与する記号（特徴量）の集合として定義する。
• 文法構造を変化させることで、Kolmogorov複雑度を模倣したG複雑度を用いて、制御可能な複雑さのデータセットを生成する。
• LIME および SHAP をモデルに依存しない説明者として用い、各インスタンスの特徴量の重要度スコアを生成する。
• 正解との一致割合を測定するk-精度指標を用いて、説明の正確性を評価する。
• さまざまな文字列長およびアルファベットサイズにおいて、分類AUCと説明のk-精度の相関関係を分析する。

実験結果

リサーチクエスチョン

• RQ1 XAI手法の評価に適した、説明の正解が既知の合成データセットを体系的に生成できるか？
• RQ2 分類精度と説明精度の間に測定可能な相関関係があるか？
• RQ3 制御された正解が与えられた状況下で、SHAPとLIMEの説明の正確性はどのように比較できるか？
• RQ4 G複雑度で測定されるデータセットの複雑さは、分類性能および説明性能にどのように影響するか？
• RQ5 提案された評価フレームワークは、LIMEとSHAPの間で説明の忠実度に体系的な差を明らかにしているか？

主な発見

• 分類精度と説明精度は正の相関関係にあり、より良い性能を示すモデルはより正確な説明を生成することが示された。
• SHAPはLIMEに比べて顕著に高い説明の正確性を示し、実験全体で平均して49%高いk-精度を達成した。
• G複雑度で測定したデータセットの複雑さが高くなるにつれて、説明の正確性は低下し、負の相関関係が確認された。
• 文字列長30の場合、SHAPのk-精度は-0.93であったのに対し、LIMEは-0.53にとどまり、顕著な性能差が確認された。
• アルファベットサイズ4、文字列長25の条件下では、SHAPの平均k-精度（0.49）はLIME（0.27）を上回り、一貫した優位性が裏付けられた。
• 結果から、SHAPは特に類似した入力においても同一性と安定性を保つという理論的整合性の性質をLIMEよりもよく満たしていることが示された。