[논문 리뷰] Generative Counterfactual Introspection for Explainable Deep Learning

Shusen Liu, Bhavya Kailkhura외 2명|arXiv (Cornell University)|2019. 07. 06.

Explainable Artificial Intelligence (XAI)참고 문헌 25인용 수 32

한 줄 요약

이 논문은 GANs를 사용하여 입력을 편집하고 깊은 분류기의 판별적이고 실행 가능한 설명을 제공하는 생성적 반대사실 인트로스펙션 프레임워크를 제시하며, MNIST와 CelebA에서 반대사실 프로토타입과 비판을 도출한다.

ABSTRACT

In this work, we propose an introspection technique for deep neural networks that relies on a generative model to instigate salient editing of the input image for model interpretation. Such modification provides the fundamental interventional operation that allows us to obtain answers to counterfactual inquiries, i.e., what meaningful change can be made to the input image in order to alter the prediction. We demonstrate how to reveal interesting properties of the given classifiers by utilizing the proposed introspection approach on both the MNIST and the CelebA dataset.

연구 동기 및 목표

• 깊은 네트워크에서 상관관계 기반의 인트로스펙션을 넘어선 인과적이고 반사실적인 설명의 필요성을 제기한다.
• 해석 가능한 프로토타입과 비판으로서의 설명을 생성하는 생성적 반사실 프레임워크를 제안한다.
• 잠재 공간이나 속성 기반 조작을 통해 최소하고 실행 가능한 입력 편집을 가능하게 하여 모델의 의사결정 경계를 드러낸다.

제안 방법

• 생성 모델을 통해 입력에 최소 변화 편집으로 반사실적 설명을 형식화한다.
• GANs를 사용하여 속성 A나 잠재 코드 Lo를 편집하여 I* = G(I;A*)를 생성하고 원하는 클래스 변화를 얻는다.
• 분류 손실과 이미지 재구성 손실을 결합한 완화된 목표를 최적화하여 의미 있는 편집을 찾는다.
• 편집 대상으로 알려진 속성(A)이나 학습된 잠재 표현(Lo)을 제공한다.
• 미분 가능 C와 G를 이용한 그래디언트 기반 최적화를 적용하여 반사실적 프로토타입과 비판을 얻는다.

실험 결과

연구 질문

• RQ1 판별적이고 실행 가능한 반사실적 시각적 설명을 어떻게 생성할 수 있는가?
• RQ2 생성적 편집이 주목도 맵을 넘어 분류기의 의미 있는 의사결정 경계 특성을 드러낼 수 있는가?
• RQ3 프로토타입 및 비판 설명이 기본 데이터 분포와 학습 데이터의 잠재 편향을 반영하는가?

주요 결과

• MNIST에서 본 방법은 분류기 경계선을 따라 숫자를 바꾸는 의미 있는 편집을 보여주며 그럴듯한 숫자 이미지 매니폴드를 탐색한다.
• 프로토타입은 이미지가 클래스 중심으로 어떻게 변형될 수 있는지 보여주며 클래스 구조와 분류기 선호를 드러낸다.
• 정규화는 매끄럽고 최소한의 편집과 해석 가능한 반사실 경로를 제공한다.
• CelebA에서 속성 편집(예: 나이 방향)은 다른 특징을 유지한 채 예측을 뒤집을 수 있어 속성 분포의 편향을 밝혀낸다.
• 이 접근법은 CelebA에서 안경과 나이 레이블 간의 상관관계와 같은 학습 데이터의 잠재 편향을 노출한다.
• 프레임워크는 반사실을 달성하는 데 필요한 최상위 변경 속성들을 나열하여 실행 가능한 통찰을 제공한다.