[論文レビュー] Proactive Pseudo-Intervention: Causally Informed Contrastive Learning For Interpretable Vision Models

Dong Wang, Yuewei Yang+6 more|arXiv (Cornell University)|Dec 6, 2020

Explainable Artificial Intelligence (XAI)参考文献 68被引用数 8

ひとこと要約

本稿では、因果的でない画像特徴に対して因果的介入をシミュレートすることで、モデルの解釈可能性と頑健性を向上させる対照的学習フレームワーク、プロアクティブ仮想介入（PPI）を紹介する。重み逆伝播（WBP）を用いた因果的に情報を持つセマンティクスマップを活用することで、PPIは分布外データにおける一般化性能を向上させ、誤った相関に依存するのを低減し、医療画像および自然画像ベンチマークで最先端の性能を達成する。また、より意味のある解釈可能性を持つ、解剖学的特徴に焦点を当てた説明を提供する。

ABSTRACT

Deep neural networks excel at comprehending complex visual signals, delivering on par or even superior performance to that of human experts. However, ad-hoc visual explanations of model decisions often reveal an alarming level of reliance on exploiting non-causal visual cues that strongly correlate with the target label in training data. As such, deep neural nets suffer compromised generalization to novel inputs collected from different sources, and the reverse engineering of their decision rules offers limited interpretability. To overcome these limitations, we present a novel contrastive learning strategy called {\it Proactive Pseudo-Intervention} (PPI) that leverages proactive interventions to guard against image features with no causal relevance. We also devise a novel causally informed salience mapping module to identify key image pixels to intervene, and show it greatly facilitates model interpretability. To demonstrate the utility of our proposals, we benchmark on both standard natural images and challenging medical image datasets. PPI-enhanced models consistently deliver superior performance relative to competing solutions, especially on out-of-domain predictions and data integration from heterogeneous sources. Further, our causally trained saliency maps are more succinct and meaningful relative to their non-causal counterparts.

研究の動機と目的

• 視覚データにおける非因果的で誤った相関に依存する深層学習モデルの過剰な依存を是正し、一般化性能と解釈可能性を向上させること。
• 実際の実験的介入を必要とせず、堅牢で因果的に情報を持つモデル意思決定を可能にする手法を開発すること。
• セマンティクスマップと対照的学習を統合し、より解釈可能で頑健なビジョンモデルを構築すること。
• 特に医療画像分野において、異種のデータソースや小標本状況での性能を向上させること。
• 因果的に根拠を持つ、アーキテクチャに依存しないセマンティクスマップ手法を構築し、因果的に関連する特徴のみを強調すること。

提案手法

• PPIは、非因果的画像特徴に対してプロアクティブに介入することで、実世界の実験を伴わずに偽の負例を生成する対照的学習目的を採用する。
• 重み逆伝播（WBP）に基づく因果的に情報を持つセマンティクスマップモジュールを用い、データの真の因果的構造に関連する特徴を特定・優先する。
• 因果的に無関係な摂動に対して不変であるようにモデルを訓練するため、元の入力と因果的無関係性を除去した仮想介入版を対照的に比較する。
• PPIは標準的なCNN（例：Inception_v3）とエンドツーエンドで適用可能であり、GradCAM、LRP、WBPを含む複数のセマンティクスマップ手法と統合可能である。
• この手法はアーキテクチャに依存せず、微分可能な層を持つ任意のモデルに適用可能であり、視覚タスク全体に広く応用可能である。
• 観測データを活用して仮想介入を合成することで、制御された実験を必要とせずとも因果的推論に近い結果を得られる。

実験結果

リサーチクエスチョン

• RQ1 視覚入力における誤った相関に依存を低減することで、分布外データにおけるモデル一般化性能を向上させられるか？
• RQ2 因果的に関連する特徴に焦点を当てることで、より解釈可能で意味のあるセマンティクスマップを生成できるか？
• RQ3 観測データから導出された仮想介入が、深層学習モデルにおける因果的不変性を効果的にシミュレートできるか？
• RQ4 因果的に情報を持つセマンティクスマップと対照的学習を統合することで、低データまたは異種データ環境下で性能向上が達成できるか？
• RQ5 統合的でアーキテクチャに依存しない因果的に情報を持つセマンティクスマップ手法は、解釈可能性と頑健性の両方を向上させられるか？

主な発見

• GAデータセットでは、PPIによりドメイン内とドメイン外の予測性能差が縮小され、AUCの平均値がPPIなしの0.834からPPIありの0.888に向上した。
• LIDC-IDRIでは、PPI＋WBP（box）によりInception_v3のAUCが0.921から0.941に向上し、他のSOTAモデルを上回った。
• PPI＋WBPによるセマンティクスマップは、ピクセルレベルの監視がなくても弱教師ありセグメンテーションにおいて専門家がアノテートした病変マスクと強い一貫性を示した。
• PPIを適用したモデルは、異種のデータソースからのデータに対して優れた頑健性を示し、特にサイト間予測の劣化を顕著に低減した。
• 因果的に情報を持つWBPセマンティクスマップは、背景の誤った特徴ではなく、解剖学的構造（例：鳥の体部、肺の病変）に焦点を当てており、解釈可能性が向上した。
• PPIは、特に小標本状況や強い誤った相関が存在する医療画像分野など、性能向上が著しい分野で最大の効果を発揮した。