[논문 리뷰] Proactive Pseudo-Intervention: Causally Informed Contrastive Learning For Interpretable Vision Models

Dong Wang, Yuewei Yang외 6명|arXiv (Cornell University)|2020. 12. 06.

Explainable Artificial Intelligence (XAI)참고 문헌 68인용 수 8

한 줄 요약

이 논문은 비인과적 이미지 특징에 대해 인과적 간섭을 시뮬레이션함으로써 모델의 해석 가능성과 내성 강도를 햖을 수 있는 대비 학습 프레임워크인 프로액티브 허위 간섭(Proactive Pseudo-Intervention, PPI)을 소개한다. 가중치 역전파(Weight Back Propagation, WBP)를 통해 인과적 정보를 반영한 중요도 맵을 활용함으로써, PPI는 도메인 외 데이터에서의 일반화 능력을 향상시키고, 부적절한 상관관계에 대한 의존도를 감소시켜 의료 및 자연 이미지 벤치마크에서 최신 기술 수준의 성능을 달성하며, 더 의미 있는 해부학 중심의 설명을 제공한다.

ABSTRACT

Deep neural networks excel at comprehending complex visual signals, delivering on par or even superior performance to that of human experts. However, ad-hoc visual explanations of model decisions often reveal an alarming level of reliance on exploiting non-causal visual cues that strongly correlate with the target label in training data. As such, deep neural nets suffer compromised generalization to novel inputs collected from different sources, and the reverse engineering of their decision rules offers limited interpretability. To overcome these limitations, we present a novel contrastive learning strategy called {\it Proactive Pseudo-Intervention} (PPI) that leverages proactive interventions to guard against image features with no causal relevance. We also devise a novel causally informed salience mapping module to identify key image pixels to intervene, and show it greatly facilitates model interpretability. To demonstrate the utility of our proposals, we benchmark on both standard natural images and challenging medical image datasets. PPI-enhanced models consistently deliver superior performance relative to competing solutions, especially on out-of-domain predictions and data integration from heterogeneous sources. Further, our causally trained saliency maps are more succinct and meaningful relative to their non-causal counterparts.

연구 동기 및 목표

• 시각 데이터에서 깊이 학습 모델이 비인과적, 부적절한 상관관계에 과도하게 의존함으로써 일반화 능력과 해석 가능성에 악영향을 미치는 문제를 해결하기 위해.
• 실제 실험적 간섭이 필요 없이도 견고하고 인과적 정보를 반영한 모델 결정을 가능하게 하는 방법을 개발하기 위해.
• 중요도 맵을 대비 학습과 통합하여 더 해석 가능하고 견고한 시각 모델을 생성하기 위해.
• 특히 의료 영상에서와 같은 이질적인 데이터 원천과 소규모 샘플 설정에서의 성능 향상을 위해.
• 해부학적으로 관련된 특징만 강조하는 인과 기반의 아키텍처에 종속되지 않는 중요도 맵 생성 방법을 구축하기 위해.

제안 방법

• PPI는 비인과적 이미지 특징에 대해 사전 간섭을 가함으로써 음성 샘플을 생성하는 대비 학습 목표를 사용하여, 실제 세계 실험 없이도 간섭을 시뮬레이션한다.
• 가중치 역전파(Weight Back Propagation, WBP) 기반의 인과적 정보를 반영한 중요도 맵 모듈을 사용하여 데이터의 진정한 인과적 구조와 관련된 특징을 식별하고 우선순위를 정한다.
• 원본 입력과 인과적 불필요성을 제거한 가짜 간섭 버전을 대비함으로써, 비인과적 변형에 대해 불변성을 갖도록 모델을 훈련시킨다.
• PPI는 표준 컨volution 네트워크(CNN, 예: Inception_v3)와 함께 종단 간(end-to-end) 적용되며, GradCAM, LRP, WBP 등 다양한 중요도 맵 방법과 통합된다.
• 이 방법은 아키텍처에 종속되지 않으며, 미분 가능한 레이어를 갖는 모든 모델에 적용 가능하므로 다양한 시각 작업에 넓은 적용성을 가진다.
• 통제된 실험의 필요 없이 관측 데이터를 활용하여 가짜 간섭을 합성함으로써, 여전히 인과적 추론을 근사할 수 있다.

실험 결과

연구 질문

• RQ1 비인과적 특징에 대한 의존도를 줄임으로써, 도메인 외 데이터에서의 모델 일반화 능력을 향상시킬 수 있는가?
• RQ2 오직 인과적으로 관련된 특징에 집중함으로써, 더 해석 가능하고 의미 있는 중요도 맵을 생성할 수 있는가?
• RQ3 관측 데이터에서 유도된 가짜 간섭이 딥 러닝 모델에서 인과적 불변성을 효과적으로 시뮬레이션할 수 있는가?
• RQ4 인과적 정보를 반영한 중요도 맵과 대비 학습을 통합하면, 데이터가 적거나 이질적인 환경에서 성능 향상이 이루어지는가?
• RQ5 통합된, 아키텍처에 종속되지 않는 인과적 정보를 반영한 중요도 맵 생성 방법이 해석 가능성과 내성 강도를 동시에 향상시킬 수 있는가?

주요 결과

• GA 데이터셋에서 PPI는 도메인 내 및 도메인 간 예측 간 성능 격차를 줄였으며, AUC 평균을 PPI 없이 0.834에서 PPI 적용 시 0.888로 향상시켰다.
• LIDC-IDRI에서 WBP(box)를 사용한 PPI는 Inception_v3의 AUC를 0.921에서 0.941로 향상시켜 다른 최신 기술 모델을 능가했다.
• PPI+WBP의 중요도 맵은 픽셀 수준의 지도 없이도 약한 지도 기반 분할에서 전문가가 애너테이션한 병변 마스크와 강한 일치를 보였다.
• PPI를 통한 모델은 특히 이질적인 데이터 원천에서의 예측 성능 저하를 줄이며 뛰어난 내성 강도를 보였다.
• 인과적 정보를 반영한 WBP 중요도 맵은 배경 등 부적절한 요소가 아닌 해부학적 구조(예: 새의 신체 부위, 폐 병변)에 집중하여 해석 가능성을 향상시켰다.
• 의료 영상에서와 같이 소규모 샘플과 강한 부적절한 상관관계가 존재하는 환경에서 PPI는 가장 뚜렷한 성능 향상을 기록했다.