[論文レビュー] Benchmarking Instance-Centric Counterfactual Algorithms for XAI: From White Box to Black Box

Catarina Moreira, Yu-Liang Chou+4 more|arXiv (Cornell University)|Mar 4, 2022

Explainable Artificial Intelligence (XAI)参考文献 79被引用数 4

ひとこと要約

本稿では、5つのデータセットを用いて、白箱（決定木）、グレー箱（ランダムフォレスト）、ブラックボックス（ニューラルネットワーク）モデルの3種類のモデルタイプに対して、モデルに依存しない4つの対向生成アルゴリズム（DiCE、WatcherCF、prototype、GrowingSpheresCF）をベンチマーク評価した。その結果、モデルタイプは対向説明の質に顕著な影響を及ぼさないことが判明した。また、近接性のみを目的関数とする手法は現実的でない説明を生じさせ、対向説明の信頼性評価には妥当性（plausibility）が不可欠であることが示された。DiCEは定量的性能と定性的な妥当性の両立が図れた最良のバランスを達成した。

ABSTRACT

This study investigates the impact of machine learning models on the generation of counterfactual explanations by conducting a benchmark evaluation over three different types of models: a decision tree (fully transparent, interpretable, white-box model), a random forest (semi-interpretable, grey-box model), and a neural network (fully opaque, black-box model). We tested the counterfactual generation process using four algorithms (DiCE, WatcherCF, prototype, and GrowingSpheresCF) in the literature in 25 different datasets. Our findings indicate that: (1) Different machine learning models have little impact on the generation of counterfactual explanations; (2) Counterfactual algorithms based uniquely on proximity loss functions are not actionable and will not provide meaningful explanations; (3) One cannot have meaningful evaluation results without guaranteeing plausibility in the counterfactual generation. Algorithms that do not consider plausibility in their internal mechanisms will lead to biased and unreliable conclusions if evaluated with the current state-of-the-art metrics; (4) A counterfactual inspection analysis is strongly recommended to ensure a robust examination of counterfactual explanations and the potential identification of biases.

研究の動機と目的

• 白箱（決定木）、グレー箱（ランダムフォレスト）、ブラックボックス（ニューラルネットワーク）の異なる機械学習モデルが、対向説明生成に与える影響を評価すること。
• 標準化された定量的指標を用いて、最先端の4つの対向アルゴリズム（DiCE、WatcherCF、prototype、GrowingSpheresCF）の性能を評価すること。
• 近接性やスパarsityといった現在の評価指標が、妥当性を考慮しない限り、対向説明の質を十分に予測できるかどうかを検証すること。
• 決定経路の可視化などの定性的分析が、定量的指標では見過ごされがちな非現実的または偏った対向説明を特定する上で不可欠であることを示すこと。
• XAI研究分野における対向説明の評価フレームワークを標準化し、定量的指標と定性的な妥当性チェックを統合する枠組みの必要性を提唱すること。

提案手法

• COMPAS、Adult、German、Diabetes、Breast Cancerの5つのデータセットを用いてベンチマーク評価を実施した。
• 決定木（白箱）、ランダムフォレスト（グレー箱）、ニューラルネットワーク（ブラックボックス）の3種類のモデルタイプに、4つの対向生成アルゴリズム（DiCE、WatcherCF、prototype、GrowingSpheresCF）を適用した。
• 標準的な定量的指標（近接性：L2距離、スパarsity：L0ノルム、忠実度）を用いて対向説明を評価した。
• 定性的分析として、モデル内部の決定経路を追跡し、妥当性およびドメイン知識との整合性を評価した。
• 対向例を生成し、可視化することで、非現実的な変更（例：年齢が34から81に上昇）を特定し、最適化ベースの手法の欠陥を明らかにした。
• 決定経路と対向説明を再現可能な透明性・再現性を確保するため、公開のベンチマークリポジトリを提供した。

実験結果

リサーチクエスチョン

• RQ1 白箱、グレー箱、ブラックボックスの機械学習モデルの選択が、生成された対向説明の質に顕著な影響を及えるか？
• RQ2 近接性やスパarsityといった標準的な定量的指標が、対向説明の質をどれほど正確に予測できるか？
• RQ3 内部メカニズムで妥当性制約を強制しない対向アルゴリズムは、どのように性能を示すか？
• RQ4 決定経路の定性的な検査は、定量的指標では見過ごされがちなバイアスや非現実的要因を特定できるか？
• RQ5 XAI分野における対向説明研究において、定量的指標と定性的な妥当性チェックを統合した標準化された評価フレームワークの必要性は何か？

主な発見

• 白箱（決定木）、グレー箱（ランダムフォレスト）、ブラックボックス（ニューラルネットワーク）のいずれの機械学習モデルを用いても、対向説明の生成に顕著な差は認められなかった。
• 近接性のみを目的関数とする手法（例：WatcherCF）は、年齢を34から81に、BMIを34から67に変更するなど、極端で非現実的な対向説明を生成した。
• GrowingSpheresCFは、L0およびL2ノルム最適化により、近接性とスパarsityの定量的スコアが最も高く評価されたが、妥当性の確保に失敗し、偏った意味のない説明を生じた。
• DiCEは、不変特徴量の適切な取り扱いにより、定量的成績と高い妥当性の両立を達成し、全体として最良のパフォーマンスを示した。
• WatcherCFは最悪の成績を示した。入力点からの距離最適化に基づくため、決定木の最初の分岐ノードに従っても、現実的な意思決定経路から著しく逸脱した対向説明が生成された。
• 本研究の結論として、妥当性のチェックがなければ現在の評価指標は不十分であり、バイアスの特定や信頼性のある対向説明を保証するには、決定経路の定性的分析が不可欠であることが示された。