[論文レビュー] Exploring Counterfactual Explanations Through the Lens of Adversarial Examples: A Theoretical and Empirical Analysis

Martin Pawelczyk, Chirag Agarwal+3 more|arXiv (Cornell University)|Jun 18, 2021

Adversarial Robustness in Machine Learning被引用数 8

ひとこと要約

本稿は、反事後的説明と敵対的例の間の理論的・実験的関連性を確立し、特定の条件下で、最先端の反事後的説明生成手法の多くが数学的に同等または類似した敵対的攻撃アルゴリズムと一致することを示している。局所線形モデルに対して、解の距離の上界を導出し、多様体に基づく手法（NAEやC-CHVAE）が反事後的説明と極めて類似した出力を生成することを実験で検証した。これは、高リスクなAIシステムにおける反事後的説明の設計と信頼性に関する根本的な疑問を提起する。

ABSTRACT

As machine learning (ML) models become more widely deployed in high-stakes applications, counterfactual explanations have emerged as key tools for providing actionable model explanations in practice. Despite the growing popularity of counterfactual explanations, a deeper understanding of these explanations is still lacking. In this work, we systematically analyze counterfactual explanations through the lens of adversarial examples. We do so by formalizing the similarities between popular counterfactual explanation and adversarial example generation methods identifying conditions when they are equivalent. We then derive the upper bounds on the distances between the solutions output by counterfactual explanation and adversarial example generation methods, which we validate on several real-world data sets. By establishing these theoretical and empirical similarities between counterfactual explanations and adversarial examples, our work raises fundamental questions about the design and development of existing counterfactual explanation algorithms.

研究の動機と目的

• 反事後的説明と敵対的例生成手法の間の理論的・実験的関連性を調査すること。
• 反事後的説明と敵対的攻撃手法が数学的に同等となる条件を同定すること。
• 局所線形モデルに対して、反事後的説明（例：SCFE、C-CHVAE）と敵対的攻撃（例：C&W、DeepFool、NAE）手法の解のL2距離の上界を導出すること。
• マッチレートとランク相関といった指標を用いて、実世界のデータセットを用いて出力の実験的類似性を評価すること。
• 高リスクなAIアプリケーションにおける反事後的説明の信頼性と設計に関する根本的な疑問を提起すること。

提案手法

• 共通の制約条件と損失関数の下で、反事後的説明と敵対的攻撃手法の最適化目的を形式化し、同等性の条件を同定する。
• 局所線形モデルに対して、反事後的説明（例：SCFE、C-CHVAE）と敵対的攻撃（例：C&W、DeepFool、NAE）手法の解のL2距離の理論的上界を導出する。
• マッチレート指標 $d_{\text{match}}$ を用いて、反事後的例と敵対的例の間の実験的類似性を評価し、閾値 $\theta \in \{0.02, 0.05, 0.1\}$ を設定する。
• スピアマン順位相関 $\rho$ を用いて、反事後的および敵対的手法からの摂動における特徴量の重要度順位の一致度を評価する。
• ロジスティック回帰とニューラルネットワーク分類器を用いて、実世界の表形式データセット（例：COMPAS、Adult、German Credit）に対して広範な実験を実施する。
• 多様体制約を含む手法（NAE、C-CHVAE）と含まない手法（DeepFool、C&W）を比較し、データ多様体制約が解の類似性に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 反事後的説明と敵対的例生成手法が数学的に同等となる条件は何か？
• RQ2 反事後的説明と敵対的攻撃アルゴリズムが生成する解は、L2距離の観点でどの程度近いか？
• RQ3 反事後的および敵対的手法が入力特徴量の重要度をどの程度一致して評価するか、順位相関で測定するとどうなるか？
• RQ4 多様体制約の導入が、反事後的および敵対的解の類似性にどのように影響するか？
• RQ5 これらの類似性は、高リスクなAIシステムにおける反事後的説明の信頼性と妥当性にどのような意味を持つのか？

主な発見

• SCFE手法は、特に低閾値（$\theta = 0.02$）において、DeepFoolおよびC&W敵対的攻撃と高いマッチレートを示し、強い実験的類似性を示している。
• 多様体に基づく手法（NAE、C-CHVAE）は、非多様体手法よりも反事後的説明と著しく類似した解を生成しており、$d_{\text{match}}$ 値の高さからそれが裏付けられている。
• 反事後的および敵対的手法からの摂動間の順位相関 $\rho$ は、同じカテゴリに属する手法では最大1.00に達し、特徴量の重要度順位がほぼ同一であることを示している。
• 理論的上界により、C&WおよびSCFEの解が局所線形モデルにおいて有界な距離内にあることが確認され、特定のハイパーパramータ設定下での同等性が支持されている。
• C-CHVAEとNAEは、特定の生成モデル設定下で同等であり、解の距離が有界であることが示された。
• 実験結果は、ロジスティック回帰とニューラルネットワークモデルを用いたCOMPAS、Adult、German Creditなど多様なデータセットにおいて、理論的発見が実証された。