[論文レビュー] On Relating 'Why?' and 'Why Not?' Explanations

Alexey Ignatiev, Nina Narodytska+2 more|arXiv (Cornell University)|Dec 21, 2020

Explainable Artificial Intelligence (XAI)参考文献 61被引用数 11

ひとこと要約

本稿は、機械学習における「なぜ？」（帰納的）と「なぜでない？」（対照的）説明の間の形式的双対性を確立し、帰納的説明が対照的説明の最小ヒッティング集合であり、逆にも成り立つことを証明している。また、最小不充足集合と最小補正集合に基づく双対性に裏打ちされた技術を用いて、両方の説明を効率的に抽出・列挙するための新規アルゴリズムを導入している。

ABSTRACT

Explanations of Machine Learning (ML) models often address a 'Why?' question. Such explanations can be related with selecting feature-value pairs which are sufficient for the prediction. Recent work has investigated explanations that address a 'Why Not?' question, i.e. finding a change of feature values that guarantee a change of prediction. Given their goals, these two forms of explaining predictions of ML models appear to be mostly unrelated. However, this paper demonstrates otherwise, and establishes a rigorous formal relationship between 'Why?' and 'Why Not?' explanations. Concretely, the paper proves that, for any given instance, 'Why?' explanations are minimal hitting sets of 'Why Not?' explanations and vice-versa. Furthermore, the paper devises novel algorithms for extracting and enumerating both forms of explanations.

研究の動機と目的

• 機械学習モデルにおける帰納的説明（「なぜ？」）と対照的説明（「なぜでない？」）の正式な関係を確立すること。
• Reiterの不一致理論に関する研究を拡張し、帰納的および対照的説明が最小ヒッティング集合の関係を通じて双対的であることを示すこと。
• 最小不充足集合（MUS）と最小補正集合（MCS）の双対性に基づき、帰納的および対照的説明の両方を効率的かつ厳密に抽出・列挙するアルゴリズムを開発すること。
• XGBoostモデルを用いて、実世界のデータセットにおける説明の包括的列挙の実行可能性とスケーラビリティを評価すること。
• SHAPの特徴重要度と対照的説明の相関関係を評価し、既存の説明可能ツールと実用的に整合していることを示すこと。

提案手法

• 機械学習モデルを一階論理（FOL）または同等の表現（例：整数プログラミング）で形式化し、インスタンスをリテラルの集合として扱う。
• 最小不充足集合（MUS）と最小補正集合（MCS）の双対性を活用して、帰納的説明を対照的説明の最小ヒッティング集合とし、逆にも成り立つようにモデル化する。
• 双対性に基づくアルゴリズム（アルゴリズム2）を用いて、すべての帰納的説明（AXps）を包括的に列挙し、同時に双対性によりすべての対照的説明（CXps）も同時に計算する。
• XGBoostモデルに対するオракルクエリを可能にするプロトタイプを[47]に基づいて実装し、インクリメンタルなSATソルブや制約論理によるスケーラブルな説明列挙を実現する。
• 木アンサンブルモデルをXGBoost（50本のツリー、深さ3）で学習させた6つの公開データセット（Adult、Lending、Recidivismなど）に本手法を適用し、双対性に基づくアプローチですべての説明を抽出する。
• CXpsとSHAP特徴の相関を測定するため、上位重み付きSHAPピクセルとCXp特徴の重複を計算し、Jaccardに類似した指標 corr = |S ∩ T| / |S| を用いる。

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルにおける帰納的説明（「なぜ？」）と対照的説明（「なぜでない？」）の正式な関係は何か？
• RQ2 最小不充足集合（MUS）と最小補正集合（MCS）の双対性を活用して、帰納的および対照的説明を効率的に計算できるか？
• RQ3 実世界のモデルおよびデータセットにおける帰納的および対照的説明の包括的列挙は、どの程度スケーラブルか？
• RQ4 対照的説明は、広く使われている説明可能ツールであるSHAPの特徴重要度とどの程度相関しているか？
• RQ5 提案手法は、厳密でモデルベースのフレームワークにおいて、帰納的説明を列挙する初のアルゴリズムを生成できるか？

主な発見

• 帰納的説明は対照的説明の最小ヒッティング集合であり、逆にも成り立つ。これは、不一致理論解析におけるMUS-MCS双対性に基づく形式的双対性を確立する。
• 双対性に基づくアルゴリズムは、6つのベンチマークデータセットのすべてのインスタンスについて、すべての帰納的および対照的説明を効率的に列挙した。平均して、1インスタンスあたり数分の1秒から数秒の計算時間であった。
• 平均して、1インスタンスあたり数10から数100のオラクルコールが必要であり、一部のケースでは数1000に達することもあった。これにより、実用的な実行可能性が示された。
• 対照的説明は帰納的説明よりも一般的に多く、しかしサイズがはるかに小さく、平均して2.3〜3.6の特徴であった。これは、人間ユーザーにとってより解釈可能であることを示している。
• 上位SHAP特徴と対照的説明の特徴との間に強い相関（平均でcorr = 0.4）が観察され、既存の説明可能手法と整合していることを示している。
• 多くの場合、対照的説明のサイズは1であった。これは、単一の特徴の変更が予測を変えるのに十分であることを示しており、モデル解釈におけるその有用性を裏付けている。