[論文レビュー] Explainable Image Classification with Evidence Counterfactual

Tom Vermeire, David Martens|arXiv (Cornell University)|Apr 16, 2020

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

本稿では、画像分類のためのモデルに依存しないインスタンスレベルの説明手法として、SEDC および SEDC-T を提案する。これらの手法は、画像のセグメントの最小集合を特定することで、モデルの予測を変更する。この最小集合の削除によって、視覚的反事後的説明が生成される。LIME や SHAP、LRP といった特徴重要度手法の限界を克服し、サイズ最適化され、特徴に依存する複数クラスに関する説明を提供する。15秒以内に誤分類された画像のうち86%が、目的の反事後的クラスを特定に成功した。

ABSTRACT

The complexity of state-of-the-art modeling techniques for image classification impedes the ability to explain model predictions in an interpretable way. Existing explanation methods generally create importance rankings in terms of pixels or pixel groups. However, the resulting explanations lack an optimal size, do not consider feature dependence and are only related to one class. Counterfactual explanation methods are considered promising to explain complex model decisions, since they are associated with a high degree of human interpretability. In this paper, SEDC is introduced as a model-agnostic instance-level explanation method for image classification to obtain visual counterfactual explanations. For a given image, SEDC searches a small set of segments that, in case of removal, alters the classification. As image classification tasks are typically multiclass problems, SEDC-T is proposed as an alternative method that allows specifying a target counterfactual class. We compare SEDC(-T) with popular feature importance methods such as LRP, LIME and SHAP, and we describe how the mentioned importance ranking issues are addressed. Moreover, concrete examples and experiments illustrate the potential of our approach (1) to obtain trust and insight, and (2) to obtain input for model improvement by explaining misclassifications.

研究の動機と目的

• 従来の特徴重要度に基づく説明手法（例：LIME, SHAP, LRP）の限界を是正すること。具体的には、説明サイズの非最適化、特徴依存性の無視、および1つのクラスに限定された分析の問題を解決する。
• 複雑な画像分類器のための、モデルに依存しない、インスタンスレベルの説明手法を開発し、人間が理解可能な視覚的反事後的説明を提供すること。
• 誤分類の原因を明らかにし、誤った予測に至った証拠を特定することで、信頼性の向上、洞察の獲得、およびモデルの改善を支援すること。
• GDPR における「説明の権利」などの規制要件を満たすために、対照的かつ実行可能な説明を提供すること。
• 実世界の誤分類シナリオにおける反事後的説明の有効性を、実験的に評価すること。

提案手法

• SEDC は、モデルの予測を異なるクラスに変更するような、画像セグメントの最小集合を特定し、視覚的反事後的説明を形成する。
• SEDC-T は、ユーザーが目的のクラスを指定できるように拡張された SEDC であり、誤分類されたインスタンスに対して、標的指向の反事後的説明を生成可能である。
• この手法は、セグメント化された画像領域の探索アルゴリズムを用い、削除されたセグメントの組み合わせが予測をどのように変化させるかを反復的にテストする。
• セグメンテーションには、市販の手法（例：SLIC）を用い、探索中に削除効果を模倣するためにセグメントの置換が行われる。
• このアプローチはモデルに依存せず、モデルのアーキテクチャや勾配へのアクセスを必要とせず、任意のブラックボックス画像分類器と互換性を持つ。
• 説明は、削除されたセグメント数の最小化と、予測信頼度の変化に基づいて評価される。

実験結果

リサーチクエスチョン

• RQ1 SEDC および SEDC-T が生成する視覚的反事後的説明は、従来の特徴重要度手法と比較して、複雑な画像分類モデルの解釈可能性を向上させるか？
• RQ2 SEDC-T は、妥当な時間制限内で、モデルの予測を指定された目的のクラスに変更する反事後的説明をどの程度成功して生成できるか？
• RQ3 SEDC および SEDC-T は、従来の説明手法の限界（例：非最適な説明サイズ、多クラスの考慮不足）をどのように是正しているか？
• RQ4 誤分類の事例において、SEDC-T は誤った予測に至った判別的証拠を特定でき、モデル改善に役立てるか？
• RQ5 SEDC-T が時間制限内で目的のクラスに到達できない要因は何か？また、それらの要因は画像の内容やラベル付けとどのように関連しているか？

主な発見

• SEDC-T は、2,121例の誤分類画像のうち 86%（1,831例）で、15秒間の探索時間以内に正しい目的クラスを特定に成功した。
• 目的に到達しなかった290例中289例では、依然として目的クラスと予測クラススコアの距離を縮める摂動が生成されており、目標への進行が確認された。
• 失敗事例の多くは、曖昧なラベル付けに起因しており、デスクトップコンピュータや机のシーンにマウスが写っているような状況で、正しいクラスが文脈的に妥当であるため、誤ったクラスの証拠を明確に分離するのが困難であった。
• 一部のケースでは、実際に物体（例：revolver の cylinder）を含むセグメント以外をすべて削除した後でも、モデルが正しいクラスを予測しなかった。これは、モデルのバイアスやアーキテクチャ上の制限が根本的な要因である可能性を示唆している。
• 本手法は、誤分類の原因となった判別的証拠（例：revolver の cylinder の存在）を効果的に特定でき、データ拡張や再トレーニングのための情報提供に役立つ。
• 実世界の意思決定文脈における SEDC-T の解釈可能性および説明可能性をさらに検証するため、ユーザースタディの実施を推奨する。