[논문 리뷰] Generating Contrastive Explanations with Monotonic Attribute Functions.

Ronny Luss, Pin‐Yu Chen외 4명|arXiv (Cornell University)|2019. 05. 29.

Explainable Artificial Intelligence (XAI)참고 문헌 2인용 수 37

한 줄 요약

이 논문은 이미지와 같은 rich한 데이터에서 시각적 속성의 '추가'를 공식적으로 정의함으로써 딥러닝에서 대조적 설명을 생성하는 새로운 방법을 제안한다. 이는 모델 예측을 변경할 수 있는 충분한 특징과 변화를 모두 특정할 수 있도록 한다. 제안된 방법은 세 가지 다양한 이미지 데이터셋에서 인간의 이해도와 정량적 지표 모두에서 최신 기법들을 능가한다.

ABSTRACT

Explaining decisions of deep neural networks is a hot research topic with applications in medical imaging, video surveillance, and self driving cars. Many methods have been proposed in literature to explain these decisions by identifying relevance of different pixels, limiting the types of explanations possible. In this paper, we propose a method that can generate contrastive explanations for such data where we not only highlight aspects that are in themselves sufficient to justify the classification by the deep model, but also new aspects which if added will change the classification. In order to move beyond the limitations of previous explanations, our key contribution is how we define addition for such rich data in a formal yet humanly interpretable way that leads to meaningful results. This was one of the open questions laid out in in Dhurandhar this http URL. (2018) [6], which proposed a general framework for creating (local) contrastive explanations for deep models, but is limited to simple use cases such as black/white images. We showcase the efficacy of our approach on three diverse image data sets (faces, skin lesions, and fashion apparel) in creating intuitive explanations that are also quantitatively superior compared with other state-of-the-art interpretability methods. A thorough user study with 200 individuals asks how well the various methods are understood by humans and demonstrates which aspects of contrastive explanations are most desirable.

연구 동기 및 목표

• 기존 설명 방법이 예측을 변경할 수 있는 요소를 제공하지 못하고 충분한 특징만 강조하는 한계를 해결하기 위해.
• 수학적으로 타당하고 인간이 이해할 수 있는 방식으로 rich한 시각적 데이터(예: 이미지)에서 '추가' 개념을 공식화하기 위해.
• 간단한 데이터(예: 흑백 이미지)를 넘어서 얼굴, 피부 병변, 패션 의류와 같은 복잡한 시각적 영역으로 대조적 설명 생성을 확장하기 위해.
• 200명의 참가자가 참여한 대규모 사용자 연구를 통해 인간이 대조적 설명을 얼마나 이해하고 선호하는지 평가하기 위해.

제안 방법

• 입력 이미지에 새로운 시각적 특징을 의미 있게 추가할 수 있도록 단조성 속성 함수를 도입한다.
• 이 함수를 사용하여 모델의 예측을 변경할 수 있는 충분한 특징과 반대 조건(Counterfactual) 변화를 식별함으로써 대조적 설명을 생성한다.
• 유명인 얼굴, 피부 병변 이미지, 패션 의류 등 세 가지 다양한 이미지 데이터셋에 적용하여 도메인 간 일반화 능력을 입증한다.
• 추가된 속성이 인간의 인지와 일관되고 의미적으로 타당한 방식으로 보장되는 공식적 프레임워크를 활용한다.
• 정량적 지표와 사용자 연구를 통해 설명의 해석 가능성과 사용자 선호도를 검증한다.
• 엔드 투 엔드로 미분 가능한 방식으로 딥 네트워크 활성화를 활용해 관련 특징과 반대 조건 특징을 탐색한다.

실험 결과

연구 질문

• RQ1 이미지와 같은 rich한 데이터에서 시각적 속성의 추가를 어떻게 공식적으로 정의할 수 있을까? 이를 통해 의미 있는 대조적 설명을 가능하게 할 수 있는가?
• RQ2 시각적 속성 기반 방법에 비해 대조적 설명은 인간이 딥러닝 모델의 결정을 얼마나 더 잘 이해하는가?
• RQ3 대조적 설명의 어떤 요소—예를 들어 충분한 특징과 반대 조건 특징을 동시에 강조하는 것—이 사용자에게 가장 바람직한가?
• RQ4 다양한 이미지 도메인에서 제안된 방법은 최신 해석 가능성 기법들에 비해 정량적으로 어떻게 비교되는가?
• RQ5 의료, 얼굴, 패션 이미지와 같은 다양한 시각적 데이터 유형으로 일반화될 수 있는가?

주요 결과

• 200명의 참가자가 참여한 연구에서 제안된 방법이 더 직관적이고 사용자에게 더 선호됨을 확인했다.
• 모든 세 가지 데이터셋에서 최신 기법에 비해 해석 가능성 지표에서 뛰어난 정량적 성능을 달성했다.
• 사용자들은 충분한 특징과 반대 조건 변화를 동시에 강조하는 설명을 더 정보감 있고 신뢰감 있게 평가했다.
• 속성 추가의 공식적 정의 덕분에 복잡한 시각적 데이터에서도 일관되고 의미적으로 타당한 대조적 설명이 가능했다.
• 기존 연구에서 다루지 못한 rich한 시각적 영역으로 대조적 설명 생성을 성공적으로 확장했다.