[논문 리뷰] DISSECT: Disentangled Simultaneous Explanations via Concept Traversals

Asma Ghandeharioun, Been Kim외 4명|arXiv (Cornell University)|2021. 05. 31.

Explainable Artificial Intelligence (XAI)참고 문헌 49인용 수 4

한 줄 요약

DISSECT는 최소한의 감독 하에 생성기, 판별기 및 개념 분리기의 공동 훈련을 통해 분리된 개념 이동(각 단계에서 한 개의 독립된 개념의 影響이 점차 증가하는 이미지 시퀀스)을 생성하는 생성적 설명 방법을 제안한다. 이는 개별 개념의 변화가 모델 예측에 미치는 영향을 드러내어 반사적 추론을 가능하게 하며, 다양한 데이터셋에서 높은 현실성, 분리성, 안정성을 달성한다.

ABSTRACT

Explaining deep learning model inferences is a promising venue for scientific understanding, improving safety, uncovering hidden biases, evaluating fairness, and beyond, as argued by many scholars. One of the principal benefits of counterfactual explanations is allowing users to explore "what-if" scenarios through what does not and cannot exist in the data, a quality that many other forms of explanation such as heatmaps and influence functions are inherently incapable of doing. However, most previous work on generative explainability cannot disentangle important concepts effectively, produces unrealistic examples, or fails to retain relevant information. We propose a novel approach, DISSECT, that jointly trains a generator, a discriminator, and a concept disentangler to overcome such challenges using little supervision. DISSECT generates Concept Traversals (CTs), defined as a sequence of generated examples with increasing degrees of concepts that influence a classifier's decision. By training a generative model from a classifier's signal, DISSECT offers a way to discover a classifier's inherent "notion" of distinct concepts automatically rather than rely on user-predefined concepts. We show that DISSECT produces CTs that (1) disentangle several concepts, (2) are influential to a classifier's decision and are coupled to its reasoning due to joint training (3), are realistic, (4) preserve relevant information, and (5) are stable across similar inputs. We validate DISSECT on several challenging synthetic and realistic datasets where previous methods fall short of satisfying desirable criteria for interpretability and show that it performs consistently well and better than existing methods. Finally, we present experiments showing applications of DISSECT for detecting potential biases of a classifier and identifying spurious artifacts that impact predictions.

연구 동기 및 목표

• 딥 러닝 모델에 대한 기존 설명 방법의 한계를 해결하기 위해, 현실적이며 분리되고 안정적인 반사적 예시를 생성할 수 있도록 하는 것.
• 사용자가 '만약에' 시나리오를 탐색할 수 있도록, 한 번에 하나의 개념만 변화시키는 이미지 시퀀스를 생성하여 각 개념이 분류기의 결정에 어떻게 영향을 미치는지 드러내는 것.
• 사용자 정의 개념이나 광범위한 애너테이션에 의존하지 않고, 분류기의 내재된 개념 표현을 자동으로 발견하는 것.
• 생성된 설명의 현실성, 분리성, 예측에 대한 영향력, 안정성 측면에서 동시에 최적화하는 것.

제안 방법

• DISSECT는 현실성, 분리성, 예측 영향력을 균형 있게 유지하는 다목적 손실 함수를 사용하여 생성기, 판별기, 개념 분리기를 공동으로 훈련한다.
• 이 방법은 개념 이동(CTs)—각 단계에서 분리된 하나의 개념의 영향력만 점차 증가하는 이미지 시퀀스—를 생성한다.
• 분류기의 예측 신호를 활용하여 생성기를 유도함으로써, 사전에 정의된 개념 애너테이션 없이도 모델 내부의 개념 개념을 탐색할 수 있도록 한다.
• 핵심 구성 요소로는 대조 학습을 통해 분리성을 강제하는 개념 분리기와, 관련 입력 정보를 유지하기 위한 복원 손실이 포함되어 있다.
• 훈련 목표에는 현실성에 기여하는 적대적 손실, 정보 유지에 기여하는 복원 손실, 그리고 개념별 손실이 포함되어 있어 예측에 대한 영향력을 확보한다.
• DISSECT는 생성기 품질이 떨어지는 경우에도 강건성을 보이며, 불완전한 GAN을 사용할 때조차도 높은 설명 품질을 유지한다. 강력한 생성 모델과 조합될 경우에도 높은 설명 품질을 유지한다.

실험 결과

연구 질문

• RQ1 생성 모델이 현실적이며 안정적인 동시에 개별 개념을 분리하는 반사적 설명을 생성할 수 있는가?
• RQ2 사용자 정의 개념이나 광범위한 애너테이션에 의존하지 않고 DISSECT가 의미 있고 영향력 있으며 분리된 개념을 탐지할 수 있는가?
• RQ3 생성기, 판별기, 분리기를 공동으로 훈련하는 것이 단독 생성 모델이나 사후 설명 방법에 비해 설명 품질을 어떻게 향상시키는가?
• RQ4 DISSECT는 분류기의 숨겨진 편향이나 비합리적인 특징(예: 피부 질환 분류에서 수술 표시에 의존하는 것)을 어느 정도 드러낼 수 있는가?
• RQ5 기본 GAN의 품질과 하이퍼파rameter 선택은 생성된 개념 이동의 현실성, 분리성, 영향력에 어떤 영향을 미치는가?

주요 결과

• DISSECT는 기반 아키텍처에서 FID 점수가 최소 42.109에 도달할 정도로 매우 현실적인 개념 이동을 생성하며, 유사한 입력 간에 높은 안정성을 유지한다.
• 모든 발견된 개념에 대해 3D Shapes, SynthDerm, CelebA 데이터셋에서 개념 이동(CT) 중요도 점수가 0.8 이상을 기록하여 강력한 분리성을 확보했다.
• 불필요한 특징인 수술 표시까지도 악성 피부암 분류에서 성공적으로 탐지하여, 편향 탐지에 있어 실용성을 입증했다.
• 불완전한 생성기 품질(예: xxsmall 아키텍처) 조건에서도 개념 중요도와 구별성에 대해 높은 성능을 유지하여 생성 품질에 대해 강건함을 입증했다.
• CelebA 데이터셋에서 DISSECT는 개념 이동의 개념 탐지에 대해 정밀도 99.868%와 재현율 98.63%를 달성했으며, 높은 안정성과 영향력 점수를 확보했다.
• 단순히 GAN만 사용하는 베이스라인(분리 또는 설명 목적 없음)은 완전히 실패했으며, 정밀도와 재현율이 각각 0%였다. 이는 공동 훈련 목표의 필수성을 강조한다.