[論文レビュー] Counterfactuals and Causability in Explainable Artificial Intelligence: Theory, Algorithms, and Applications

Yu-Liang Chou, Catarina Moreira+3 more|arXiv (Cornell University)|Mar 7, 2021

Explainable Artificial Intelligence (XAI)参考文献 124被引用数 18

ひとこと要約

この論文は、説明可能AI（XAI）におけるモデルに依存しない対応的説明についての体系的レビューを実施し、現在のアルゴリズムが形式的な因果理論に根拠を置かず、代わりに偶然的相関に依存していることを明らかにした。著者らは、6つの対応的説明アプローチの新しい分類法を提唱し、XAIにおける真の因果的説明可能性を達成するには、形式的因果理論と統合する必要があると主張している。

ABSTRACT

There has been a growing interest in model-agnostic methods that can make deep learning models more transparent and explainable to a user. Some researchers recently argued that for a machine to achieve a certain degree of human-level explainability, this machine needs to provide human causally understandable explanations, also known as causability. A specific class of algorithms that have the potential to provide causability are counterfactuals. This paper presents an in-depth systematic review of the diverse existing body of literature on counterfactuals and causability for explainable artificial intelligence. We performed an LDA topic modelling analysis under a PRISMA framework to find the most relevant literature articles. This analysis resulted in a novel taxonomy that considers the grounding theories of the surveyed algorithms, together with their underlying properties and applications in real-world data. This research suggests that current model-agnostic counterfactual algorithms for explainable AI are not grounded on a causal theoretical formalism and, consequently, cannot promote causability to a human decision-maker. Our findings suggest that the explanations derived from major algorithms in the literature provide spurious correlations rather than cause/effects relationships, leading to sub-optimal, erroneous or even biased explanations. This paper also advances the literature with new directions and challenges on promoting causability in model-agnostic approaches for explainable artificial intelligence.

研究の動機と目的

• XAIにおける現在のモデルに依存しない対応的説明アルゴリズムが、形式的因果理論に根拠を置いているかどうかを調査すること。
• 現在の対応的説明生成技術の理論的・手法的基盤を特定し分類すること。
• 現在の対応的説明が、人間が理解できる因果関係（原因と結果の関係）を真正に反映しているのか、それとも偶然的相関に過ぎないのかを評価すること。
• 形式的因果モデルと確率的グラフィカルフレームワークを統合することで、XAIにおける説明可能性のための新たな研究方向性を提案すること。
• 現在の評価指標の限界を指摘し、XAIの評価においてユーザー中心で標準化されたプロトコルを導入するよう提言すること。

提案手法

• PRISMAフレームワークを用いて、XAIにおける対応的説明と説明可能性に関する関連研究を同定する体系的文献レビューを実施した。
• 被調査文献のテーマ的構造を分析し、核心的な研究テーマを抽出するために、潜在ディリクレ配分（LDA）トピックモデリングを適用した。
• 6つの理論的アプローチに基づく、モデルに依存しない対応的説明アルゴリズムの新しい分類法を提唱した：インスタンス中心、制約中心、遺伝的中心、回帰中心、ゲーム理論中心、事例ベース推論中心、確率的中心。
• 形式的因果フレームワーク、特にPearl（2009）が定義する構造的因果モデル（SCM）に基づいたフレームワークと照らし合わせて、現在の対応的説明アルゴリズムを評価した。
• 客観レベル、機能レベル、ユーザーレベルの評価指標の違いを明確にすることで、XAIの評価におけるギャップを特定し、人間中心の評価の必要性を強調した。
• 説明可能性とユーザー理解を向上させるために、因果的認識を備えたインターフェースとインタラクティブな探索ツールの統合を提言した。

実験結果

リサーチクエスチョン

• RQ1 XAIにおける現在のモデルに依存しない対応的説明アルゴリズムは、形式的因果理論に根拠を置いているか？
• RQ2 現在の対応的説明は、どれほど真正の因果関係を反映しているのか、それとも偶然的相関に過ぎないのか？
• RQ3 それらの背後にある理論的基盤に基づいて、対応的説明生成手法の統一された分類法をどのように構築できるか？
• RQ4 特にユーザーレベルにおいて、XAIシステムの説明可能性を評価するにあたり、主な課題は何か？
• RQ5 因果モデルをどのように知的ユーザーインターフェースに統合することで、説明可能性とユーザー理解を向上させられるか？

主な発見

• 現在のモデルに依存しない対応的説明アルゴリズムは、構造的因果モデルなどの形式的因果理論に根拠を置かず、因果関係ではなく相関に基づいた説明となっている。
• 調査された大多数のアルゴリズムは、偶然的相関を反映した対応的説明を生成しており、人間の意思決定者にとって、最適でない、誤りのある、または偏った説明をもたらしている。
• インスタンス中心、制約中心、遺伝的中心、回帰中心、ゲーム理論中心、事例ベース推論中心、確率的中心の6つの異なるアプローチを含む、新たな分類法を確立した。
• 本研究は、XAIの評価における深刻なギャップを特定した：適合性や安定性といった既存の指標は、説明が真の説明可能性に達しているかどうかを評価するには不十分である。
• 説明が単に解釈可能であるだけでなく、因果的に意味があり、信頼できるものとなるよう、形式的因果フレームワークの統合を促進する必要がある。
• 因果的推論とインタラクティブな探索を活用する知的ユーザーインターフェースは、現実世界の応用においてユーザー理解を向上させ、説明可能性を促進する強力な可能性を示している。