[論文レビュー] On Generating Plausible Counterfactual and Semi-Factual Explanations for Deep Learning

Eoin M. Kenny, Mark T. Keane|arXiv (Cornell University)|Sep 10, 2020

Explainable Artificial Intelligence (XAI)被引用数 6

ひとこと要約

この論文は、コンピュータビジョン分野における深層学習モデルのための妥当な反事後的および準反事後的説明を生成するための新規手法PIECEを紹介する。PIECEは、反事後的クラスに一致させるために画像内の「例外的」な特徴のみを変更することで、最小限の変更で極めて妥当な説明を生成する。この手法は、L1距離やモデルの信頼度スコアを含む複数の指標において、反事後的および準反事後的妥当性の両面で既存手法を上回る性能を発揮する。

ABSTRACT

There is a growing concern that the recent progress made in AI, especially regarding the predictive competence of deep learning models, will be undermined by a failure to properly explain their operation and outputs. In response to this disquiet counterfactual explanations have become massively popular in eXplainable AI (XAI) due to their proposed computational psychological, and legal benefits. In contrast however, semifactuals, which are a similar way humans commonly explain their reasoning, have surprisingly received no attention. Most counterfactual methods address tabular rather than image data, partly due to the nondiscrete nature of the latter making good counterfactuals difficult to define. Additionally generating plausible looking explanations which lie on the data manifold is another issue which hampers progress. This paper advances a novel method for generating plausible counterfactuals (and semifactuals) for black box CNN classifiers doing computer vision. The present method, called PlausIble Exceptionality-based Contrastive Explanations (PIECE), modifies all exceptional features in a test image to be normal from the perspective of the counterfactual class (hence concretely defining a counterfactual). Two controlled experiments compare this method to others in the literature, showing that PIECE not only generates the most plausible counterfactuals on several measures, but also the best semifactuals.

研究の動機と目的

• XAI分野において準反事後的説明への注目が不足している現状を是正するが、これは人間の推論において心理的および実用的利点を有するため。
• ピクセルの非離散的かつ高次元な性質のため、画像データにおける妥当な反事後的説明の生成が困難であるという課題を克服する。
• データ多様体上に位置し、意味のある最小限の特徴変更で済む対照的説明（反事後的および準反事後的）を生成する手法を開発する。
• モデルの内部重みにアクセスする必要なく、ブラックボックスCNN分類器の後処理的説明を提供する。
• 「すなわち」推論を用いた準反事後的説明—「たとえ〜でも〜」という形式—が、反事後的説明と同等に解釈可能性を向上させるとともに、否定的感情反応を軽減できることを実証する。

提案手法

• 真のクラスと反事後的クラスの間の活性化差を基に、有意水準α = 0.05に基づき、テスト画像内の「例外的」特徴を統計的有意性を用いて同定する。
• 反事後的クラスの観点から「通常」の特徴に変更することで、反事後的インスタンスを生成する。
• 生成された反事後的例が元の画像にL2距離で近接するように、潜在空間最適化プロセスを用いることで、妥当性を保持する。
• 元のクラスを維持しつつ、同じ変更プロセスを適用することで、予測を変更せずにどの特徴が変更可能かを示す準反事後的例を生成する。
• 生成プロセスをガイドするために、深層ニューラルネットワークの特徴表現（潜在空間経由）を活用し、出力がデータ多様体内に留まるようにする。
• L1距離、モデル信頼度（MC-Dropout）、最近傍距離、画像品質スコア（IM1/IM2）を含む複数の妥当性指標を用いて、生成された説明を評価する。

実験結果

リサーチクエスチョン

• RQ1 非離散的データにおいても、画像ベースの深層学習モデルのための妥当な反事後的説明を生成できる手法を開発できるか？
• RQ2 予測クラスを変更せずに「例外的」特徴を変更することで生成される準反事後的説明は、反事後的説明よりも解釈可能で心理的に自然な説明をもたらすか？
• RQ3 L1距離、モデル信頼度、最近傍距離を指標として用いた場合、異なる説明生成手法の妥当性はどのように比較できるか？
• RQ4 準反事後的説明において、妥当性と特徴変更数の間にはトレードオフがあるか？また、PIECEはこのトレードオフをどのように管理するか？
• RQ5 同じフレームワークを用いて、例外性に基づく一貫したメカニズムで反事後的および準反事後的説明を両方生成できるか？

主な発見

• PIECEは、ベースライン手法よりも顕著に妥当性の高い反事後的例を生成し、L1距離スコアが高く、モデル信頼度（MC-Dropout）および最近傍距離（NN-Dist）の指標でも優れた結果を示した。
• 準反事後的生成において、PIECEはmin-edit手法を顕著に上回り、L1距離が顕著に高く（AD > 2.5、p < .029）なっており、より意味的で明確な特徴変更を示した。
• すべての手法が距離が大きいほどより良い準反事後的例を生成したが、PIECEは全距離範囲で一貫して最高の結果を達成した（AD > 3.3、p < .015）。
• MC-DropoutおよびNN-Dist指標は明確なトレードオフを示した：準反事後的例がより明確になる（L1距離が高くなる）ほど、モデル信頼度と妥当性スコアが低下した。これは、明確さと忠実性の間のバランスを示唆している。
• IM1およびIM2のような指標は、特徴の段階的変更に対して有意な変化を示さず、MC-Mean、MC-STD、NN-Distに比べて説明品質の変化に対して感受性が低い可能性を示唆した。
• この手法は、同一のフレームワークを用いて反事後的および準反事後的説明の両方を成功裏に生成し、その汎用性とXAI分野における広範な応用可能性を示した。