[논문 리뷰] Meaningfully Debugging Model Mistakes using Conceptual Counterfactual Explanations

Abubakar Abid, Mert Yüksekgönül외 1명|arXiv (Cornell University)|2021. 06. 24.

Data Stream Mining Techniques인용 수 10

한 줄 요약

이 논문은 훈련 데이터나 재학습이 필요 없이 인간이 이해할 수 있는 개념을 사용해 모델의 오류를 설명하는 개념적 반사적 설명(CCE)을 소개한다. CCE는 학습된 개념 활성화 벡터를 사용해 임bedding 공간에서 반사적 편향을 생성함으로써 이미지 분류기의 비합리적 상관관계와 편향을 식별하며, 임상의가 확인한 통찰을 통해 의료 영상에서의 효과성을 검증한다.

ABSTRACT

Understanding and explaining the mistakes made by trained models is critical to many machine learning objectives, such as improving robustness, addressing concept drift, and mitigating biases. However, this is often an ad hoc process that involves manually looking at the model's mistakes on many test samples and guessing at the underlying reasons for those incorrect predictions. In this paper, we propose a systematic approach, conceptual counterfactual explanations (CCE), that explains why a classifier makes a mistake on a particular test sample(s) in terms of human-understandable concepts (e.g. this zebra is misclassified as a dog because of faint stripes). We base CCE on two prior ideas: counterfactual explanations and concept activation vectors, and validate our approach on well-known pretrained models, showing that it explains the models' mistakes meaningfully. In addition, for new models trained on data with spurious correlations, CCE accurately identifies the spurious correlation as the cause of model mistakes from a single misclassified test sample. On two challenging medical applications, CCE generated useful insights, confirmed by clinicians, into biases and mistakes the model makes in real-world settings.

연구 동기 및 목표

• 모델 오류를 수동으로 점검하는 비체계적이고 비효율적인 과정을 해결하기 위해 체계적이고 해석 가능한 방법을 제공한다.
• 이미지 색조, 무늬, 시야 각도와 같은 고수준의 인간이 이해할 수 있는 개념을 사용해 특정 테스트 샘플에서 모델이 왜 실패하는지 설명한다.
• 훈련 데이터나 재학습에 접근할 수 없어도 모델 내 비합리적 상관관계와 데이터 편향을 탐지한다.
• 모델 오류가 임상적 결과를 초래할 수 있는 실제 의료 응용 분야에서 방법의 유효성을 검증한다.
• 화이트박스 모델 액세스와 소량의 레이블된 예시만으로도 빠르고 사용자 友好的한 오류 디버깅을 가능하게 한다.

제안 방법

• CCE는 소량의 레이블된 이미지에서 인간이 이해할 수 있는 속성(예: 무늬, 측면 시야)의 개념 라이브러리를 구성한다.
• 모델의 임베딩 표현을 기반으로 SVM을 사용해 개념 활성화 벡터(CAVs)를 학습한다.
• 잘못 분류된 샘플에 대해, CCE는 개념 벡터의 가중합을 계산하여 예측을 수정할 수 있는 반사적 편향을 생성한다.
• 이 방법은 개념에 양수 또는 음수 점수를 할당한다: 높은 양수 점수는 해당 개념을 추가하면 예측이 향상됨을 의미하고, 높은 음수 점수는 해당 개념을 제거하면 도움이 된다는 것을 시사한다.
• CCE는 임베딩 공간에서 작동하므로, CPU에서 샘플당 0.3초 미만의 빠른 추론이 가능하다.
• 이 방법은 모델에 화이트박스 액세스만 필요로 하며, 훈련 데이터에 접근하거나 재학습하지 않는다.

실험 결과

연구 질문

• RQ1 CCE는 인간이 이해할 수 있는 개념을 사용해 특정 테스트 샘플에서 모델이 왜 잘못 분류되는지 체계적으로 설명할 수 있는가?
• RQ2 CCE는 훈련 데이터에 접근할 수 없어도 단일 잘못 분류된 샘플에서 모델 예측의 비합리적 상관관계를 탐지할 수 있는가?
• RQ3 CCE는 의료 모델의 편향(예: 시야 각도나 환자 인구통계학적 특성에 대한 민감도)을 식별하고 도메인 전문가의 확인을 통해 통찰을 검증할 수 있는가?
• RQ4 CCE는 이미지 색조나 촬영 프로토콜의 분포 변화와 같은 도메인 이동 문제를 얼마나 효과적으로 식별할 수 있는가?
• RQ5 CCE는 이미지 분류를 넘어서 다양한 데이터 모odal리티와 작업에 적용 가능한가?

주요 결과

• 의료 피부과 분석 사례에서 CCE는 모델이 피부 모양의 털 존재 여부로 인해 잘못 분류된 것을 정확히 식별했으며, 이는 숙련된 피부과 전문의에 의해 확인되었다.
• 심장병 응용 분야에서 CCE는 100%의 잘못 분류된 측면 시력 X레이에서 '측면 시야' 개념에 대해 가장 높은 음수 점수를 기록하여, 이 기능을 제거하면 예측이 향상될 것임을 시사했다.
• NIH X레이로 훈련된 모델이 SHC 측면 시력 이미지에서 실패한 것은 해당 뷰 유형에 노출되지 않았기 때문이며, 이는 임상적 기대와 일치했다.
• CCE는 개념 학습을 위해 1개 개념당 평균 50장의 이미지만으로도 효과적인 CAVs를 학습할 수 있었으며, 이는 낮은 데이터 요구량을 보여주었다.
• CCE는 단일 CPU에서 샘플당 0.3초 미만의 시간으로 설명을 생성하여 확장 가능한 디버깅이 가능했다.
• 임상의들은 CCE의 설명이 실제 의료 환경에서 타당하고 실행 가능하다고 평가하여, 실용적 유용성을 확인했다.