[論文レビュー] Explanations based on the Missing: Towards Contrastive Explanations with Pertinent Negatives

Amit Dhurandhar, Pin‐Yu Chen+5 more|arXiv (Cornell University)|Feb 21, 2018

Explainable Artificial Intelligence (XAI)被引用数 174

ひとこと要約

本論文は、Contrastive Explanations Method (CEM) を提案し、ニューラルネットワークの分類を正当化するために、pertinent positives (PP) は「存在すべきもの」、pertinent negatives (PN) は「欠けているべきもの」を特定し、オプションとして autoencoder による現実性の補強を提供します。

ABSTRACT

In this paper we propose a novel method that provides contrastive explanations justifying the classification of an input by a black box classifier such as a deep neural network. Given an input we find what should be %necessarily and minimally and sufficiently present (viz. important object pixels in an image) to justify its classification and analogously what should be minimally and necessarily \\emph{absent} (viz. certain background pixels). We argue that such explanations are natural for humans and are used commonly in domains such as health care and criminology. What is minimally but critically \\emph{absent} is an important part of an explanation, which to the best of our knowledge, has not been explicitly identified by current explanation methods that explain predictions of neural networks. We validate our approach on three real datasets obtained from diverse domains; namely, a handwritten digits dataset MNIST, a large procurement fraud dataset and a brain activity strength dataset. In all three cases, we witness the power of our approach in generating precise explanations that are also easy for human experts to understand and evaluate.

研究の動機と目的

• 分類器の意思決定を正当化する最小限の現在特徴/非現在特徴を特定して、対比的で人間に理解しやすい説明を動機づける。
• 与えられた入力に対して Pertinent Positives (PP) と Pertinent Negatives (PN) を生成するための摂動を定義し、最適化する。
• 可能な限りデータマ manifold に近づくように autoencoder ベースの再構成を介して説明を近づける。
• diverse なドメイン（MNIST、調達詐欺、脳イメージング）でアプローチを検証し、LRP や LIME などの既存手法と比較する。

提案手法

• 入力の摂動を最適化問題として PP と PN を定式化する。
• ヒンジ型の損失を用いて摂動済み入力を別のクラスへ引く（PN）か、同じ上位クラスを維持する（PP）。
• スパース性と安定性のために Elastic-net 正則化（L1 および L2 項）を組み込む。
• 必要に応じて autoencoder の再構成損失を介して摂動をデータマ manifold の近傍に制約する。
• L1 正則化を効率的に扱うために投影型 FISTA を用いて解く。

実験結果

リサーチクエスチョン

• RQ1 特定の予測について、最小限の現在特徴と非現在特徴を指定するインスタンス固有の対比的な説明を生成できるか。
• RQ2 Pertinent Positives と Pertinent Negatives は既存の方法よりも直感的で人間に適合した説明を提供するか。
• RQ3 CEM は画像ドメインおよび非画像ドメイン（MNIST、調達詐欺、fMRI）で LRP および LIME と比較してどのように性能を発揮するか。
• RQ4 データマ manifold への近接を autoencoder によって強制することは説明の質を向上させるか。

主な発見

• CEM は、分類のためにどの特徴が必須で、どの特徴が欠けているべきかを強調することで、解釈可能な説明を生成する。
• MNIST では、autoencoder の有無にかかわらず CEM の説明は LRP/LIME より解釈しやすく、autoencoder が明瞭さを補助する。
• 調達詐欺データでは、PP/PN の説明が専門家の判断と密接に一致し、他の手法の代理指標よりも優れている。
• ABIDE fMRI データでは、CEM がネットワークレベルおよび領域レベルのパターンを特定し、既知の自閉スペクトラム障害の結合変化と一致しており、pertinent positives の特定において LRP より優れている。
• 3 つのデータセットすべての定量評価において、PP/PN の摂動は separate inputs として評価した場合、元のクラスを維持または反転させるのに 100% 効力を示した。