[論文レビュー] Framework for Evaluating Faithfulness of Local Explanations

Sanjoy Dasgupta, Nave Frost+1 more|arXiv (Cornell University)|Feb 1, 2022

Explainable Artificial Intelligence (XAI)被引用数 14

ひとこと要約

本稿では、一貫性と十分性という2つの定量的指標を用いて、機械学習における局所的説明手法の忠実性を評価するフレームワークを提案する。ブラックボックス説明者における推定子と標本複雑性の上限を提供し、忠実性がデータ分布に依存すること、および離散化がSHAP や LIME などの手法において特に忠実性指標を向上させることを示している。

ABSTRACT

We study the faithfulness of an explanation system to the underlying prediction model. We show that this can be captured by two properties, consistency and sufficiency, and introduce quantitative measures of the extent to which these hold. Interestingly, these measures depend on the test-time data distribution. For a variety of existing explanation systems, such as anchors, we analytically study these quantities. We also provide estimators and sample complexity bounds for empirically determining the faithfulness of black-box explanation systems. Finally, we experimentally validate the new properties and estimators.

研究の動機と目的

• 局所的説明システムの背後にある予測モデルに対する忠実性を形式的かつ定量的に定式化すること。
• 既存の説明手法が分布シフト下でも正確にモデル行動を反映しない可能性があるという課題に対処すること。
• ブラックボックス説明システムにおける忠実性を評価するための実用的な推定子と標本複雑性の上限を構築すること。
• 忠実性がデータに依存しており、説明出力の戦略的離散化によって向上させられることを実証すること。

提案手法

• 一貫性（同一の説明は同一の予測を意味する）と十分性（説明が異なっていても同一の予測を意味する）という2つの中心的指標を導入する。
• 一貫性と十分性のグローバルおよびローカルバージョンを定義し、ラベルなしテストデータに基づく推定子を提示する。
• グローバル忠実性を推定するための標本複雑性の上限を導出し、定数誤差を達成するには $O(\mathtt{range}(e))$ 個の標本で十分であることを示している。
• 説明出力（例：SHAP値）の離散化を提案し、説明が細かすぎる場合に特に忠実性指標を向上させることを目的とする。
• 多様な説明手法（Anchors, LIME, SHAP, k-NN, 反事実）を複数のデータセットで評価し、指標の妥当性を検証する。
• 統計的推定子を用いて実世界のデータにおける忠実性を評価し、合成データおよび実データの分割による検証を実施する。

実験結果

リサーチクエスチョン

• RQ1 局所的説明システムの忠実性を形式的かつ定量的に測定する方法は何か？
• RQ2 LIME, SHAP, Anchors などの既存の説明手法が、一貫性と十分性をどの程度満たしているか？
• RQ3 説明システムの忠実性は、異なるデータ分布間でどのように変化するか？
• RQ4 ブラックボックス説明システムに対して忠実性を信頼性高く推定できるか？ その場合に必要な標本複雑性はどの程度か？
• RQ5 説明の離散化が忠実性指標の向上に果たす役割は何か？

主な発見

• 理論的分析により、SHAP は完全な一貫性を示すが、LIME はそうではない。
• SHAP 値の離散化は一貫性と十分性スコアを顕著に向上させる。例えば、Adult データセットでは1-FP 離散化により一貫性が 0.95 に上昇するが、離散化なしでは 0.02 にとどまる。
• 忠実性は非常にデータ依存的である。Adult データセットの1つの集団では Anchors が 0.934 の一貫性を達成したが、別の集団では SHAP が 0.885 を記録した。
• 説明の圧縮（例：離散化）がない場合、忠実性の検証は根本的になされない（Claim 2 により示された）。
• 一意な説明の数が多いほど忠実性が低下する傾向にあり、これは圧縮の必要性を示唆している。
• グローバル忠実性推定の標本複雑性は $O(\mathtt{range}(e))$ であり、中程度のラベルなしデータで効率的な実証的評価が可能である。