[論文レビュー] Counterfactual Explanations for Machine Learning: A Review.

Sahil Verma, John P. Dickerson+1 more|arXiv (Cornell University)|Oct 20, 2020

Explainable Artificial Intelligence (XAI)参考文献 80被引用数 222

ひとこと要約

この論文は機械学習における反事後的説明をレビューおよび分類し、忠実度、多様性、実現可能性といった重要な特性に基づいてアルゴリズムを評価するためのルーブリックを提案する。既存手法の包括的な比較を行い、研究上のギャップを特定し、金融や医療などのハイリスク分野における信頼性のあるAIシステムにおける有望な今後の方向性を提示する。

ABSTRACT

Machine learning plays a role in many deployed decision systems, often in ways that are difficult or impossible to understand by human stakeholders. Explaining, in a human-understandable way, the relationship between the input and output of machine learning models is essential to the development of trustworthy machine-learning-based systems. A burgeoning body of research seeks to define the goals and methods of explainability in machine learning. In this paper, we seek to review and categorize research on counterfactual explanations, a specific class of explanation that provides a link between what could have happened had input to a model been changed in a particular way. Modern approaches to counterfactual explainability in machine learning draw connections to the established legal doctrine in many countries, making them appealing to fielded systems in high-impact areas such as finance and healthcare. Thus, we design a rubric with desirable properties of counterfactual explanation algorithms and comprehensively evaluate all currently-proposed algorithms against that rubric. Our rubric provides easy comparison and comprehension of the advantages and disadvantages of different approaches and serves as an introduction to major research themes in this field. We also identify gaps and discuss promising research directions in the space of counterfactual explainability.

研究の動機と目的

• 金融や医療などのハイインパクト分野における機械学習意思決定を人間のステークホルダーが理解できるようにする課題に対処すること。
• 忠実度、多様性、実現可能性といった、効果的な反事後的説明の核心的特性を定義し、評価すること。
• 複数の次元にわたって、既存の反事後的説明アルゴリズムを比較するための構造化されたルーブリックを提供すること。
• 現在の研究におけるギャップを特定し、反事後的説明分野における有望な今後の研究方向性を示すこと。
• 機械学習の説明可能性と、因果関係および責任に関する既存の法的原則とのギャップを埋めること。

提案手法

• 著者たちは、忠実度、多様性、近接性、実現可能性といった望ましい特性を含む、反事後的説明アルゴリズムの包括的なルーブリックを設計した。
• このルーブリックに基づいて、現在提案されているすべての反事後的説明手法を体系的に評価し、直接比較を可能にした。
• 評価フレームワークは、モデルの予測を変えるために必要な入力の人が理解しやすい変更を重視し、因果的推論の原則と整合する。
• 論文は反事後的説明と因果関係に関する法的原則との間の関連を示し、規制対象分野での受け入れを高めた。
• 勾配ベースや探索ベースのアプローチなどの、背後にある最適化技術に基づいて既存の手法を分類した。
• ルーブリックは研究テーマのマップ作成、トレードオフの特定、今後のアルゴリズム開発の指針に使用された。

実験結果

リサーチクエスチョン

• RQ1 機械学習における高品質な反事後的説明を特徴づける主な特性は何ですか？
• RQ2 既存の反事後的説明アルゴリズムは、忠実度、多様性、実現可能性の観点からどのように比較できますか？
• RQ3 反事後的説明の生成に関する現在のアプローチにおける制限とトレードオフは何か？
• RQ4 反事後的説明は、意思決定における法的・倫理的原則に基づく因果関係とどのように整合させることができますか？
• RQ5 実世界の応用において反事後的説明を進歩させるために、最も有望な研究方向性は何か？

主な発見

• 提案されたルーブリックにより、複数の望ましい特性を評価することで、反事後的説明アルゴリズムの体系的比較が可能になった。
• 多くの既存手法は忠実度や近接性を重視しているが、実際の展開において多様性や実現可能性をしばしば無視している。
• 標準化された評価プロトコルの著しい欠如により、研究間でのベンチマークが一貫性のない状態となっている。
• 因果関係に関する法的原則と整合する反事後的説明は、金融や医療などの規制対象分野でより受け入れられやすくなる。
• 反事後的説明の質、計算効率、モデルに依存しない適用可能性の最適なバランスについて、分野全体で合意が得られていない。
• 今後の研究は、高忠実度と人間の解釈可能性を維持しつつ、実現可能性と多様性の向上に注力すべきである。