[論文レビュー] Delivering Inflated Explanations

Yacine Izza, Alexey Ignatiev+2 more|arXiv (Cornell University)|Jun 27, 2023

Explainable Artificial Intelligence (XAI)Computer Science参考文献 43被引用数 3

ひとこと要約

本稿では、説明可能AIにおける帰納的および対照的説明を、モデルの意思決定を維持する最大の値集合（例：区間やグループ）に正確な特徴値を置き換えることで拡張する「膨張した説明（inflated explanations）」という形式的かつ厳密な手法を提案する。この手法は、SATに基づく符号化と基数制約を活用して、実用的なスケーラビリティを確保しつつ、これらの拡張された説明を効率的に計算する。解釈可能性が向上し、性能の低下は最小限に抑えられる。

ABSTRACT

In the quest for Explainable Artificial Intelligence (XAI) one of the questions that frequently arises given a decision made by an AI system is, ``why was the decision made in this way?'' Formal approaches to explainability build a formal model of the AI system and use this to reason about the properties of the system. Given a set of feature values for an instance to be explained, and a resulting decision, a formal abductive explanation is a set of features, such that if they take the given value will always lead to the same decision. This explanation is useful, it shows that only some features were used in making the final decision. But it is narrow, it only shows that if the selected features take their given values the decision is unchanged. It's possible that some features may change values and still lead to the same decision. In this paper we formally define inflated explanations which is a set of features, and for each feature of set of values (always including the value of the instance being explained), such that the decision will remain unchanged. Inflated explanations are more informative than abductive explanations since e.g they allow us to see if the exact value of a feature is important, or it could be any nearby value. Overall they allow us to better understand the role of each feature in the decision. We show that we can compute inflated explanations for not that much greater cost than abductive explanations, and that we can extend duality results for abductive explanations also to inflated explanations.

研究の動機と目的

• 標準的な帰納的説明は特徴を正確な値に固定するが、その値の変動に対する耐性を明らかにできないため、解釈可能性が限られる問題に対処すること。
• 予測を維持する特徴値の最大集合（膨張した帰納的説明）を形式化し、計算することで、特徴の重要性と耐性の理解を向上させること。
• 帰納的説明から膨張した帰納的説明への双対性結果を拡張し、膨張した帰納的説明と対照的説明の間で最小ヒットセット双対性を確立すること。
• 膨張した説明が、大規模なランダムフォレストモデルや実世界のデータセットに対しても、実用的に効率的に計算可能であることを示すこと。

提案手法

• 各特徴について、$x_i \in \mathbb{E}_i$ であれば予測が変わらないような最大集合 $\mathbb{E}_i$ を、膨張した帰納的説明として形式化する。
• CNF符号化とPySATおよびGlucose3を用いたインクリメンタルSATソルバを活用し、SATに基づくアルゴリズムを考案して膨張した説明を計算する。
• カテゴリカル特徴と順序特徴のそれぞれに対して別々のアルゴリズムを設計：カテゴリカル特徴では最大のカテゴリーセットを計算し、順序特徴では連続値の最大の区間を計算する。
• 2段階のプロセスを適用：まず標準的な帰納的説明（AXp）を計算し、次に各リテラル $x_i = v_i$ を、十分性を保つ最大の $\mathbb{E}_i$ に拡張する。
• 膨張した対照的説明の2つの定義を導入し、膨張した帰納的説明と対照的説明の間で最小ヒットセット双対性が成り立つことを証明する。
• ランダムフォレストのSAT符号化を実装したPythonプロトタイプを構築し、AXp計算と膨張の両方の機能をサポートする。

実験結果

リサーチクエスチョン

• RQ1 予測を維持する範囲や値の集合を含むように、帰納的説明を正確な特徴値の範囲を越えて意味的に拡張できるか？
• RQ2 形式的な正しさと最小性の保証を維持しながら、膨張した説明を効率的に計算する方法は何か？
• RQ3 標準的な帰納的説明と対照的説明の間で知られている最小ヒットセット双対性が、膨張した説明へも拡張可能か？
• RQ4 特徴の値が結果に影響を与えない範囲（例：患者の身長が1.75m〜1.84mの間であれば十分）を明らかにすることで、膨張した説明が解釈可能性をどの程度向上させるか？
• RQ5 実世界のデータセットや大規模なランダムフォレストモデルに対して、膨張プロセスのスケーラビリティはどの程度か？

主な発見

• 38個のデータセットのうち35個で説明の膨張に成功。20個のデータセットでは1特徴あたり平均100〜720の値が拡張され、13個では13〜99の値が拡張された。
• 膨張した帰納的説明を計算する平均実行時間は7.11秒、最大144.48秒、最小0.02秒であり、実用的なスケーラビリティが確認された。
• 大多数のデータセットで、特徴がほぼその全ドメインにまで拡張されており、一部の特徴では元のドメインサイズにほぼ達するまで膨張した。
• プロトタイプは、最大64特徴、5,000件以上のインスタンスを持つ大規模なランダムフォレストモデルに対しても、膨張した説明を効率的に計算できることを示した。
• 理論的双対性結果が確認された：膨張した帰納的説明と対照的説明の間で最小ヒットセット双対性が成立し、形式的フレームワークの堅牢性が裏付けられた。
• 本手法は特徴の耐性を効果的に明らかにすることができた。例えば、患者の身長が1.75m〜1.84mの間であれば意思決定に十分であることが示されたが、正確な値を必要としないことが明らかになった。