[논문 리뷰] On Generating Plausible Counterfactual and Semi-Factual Explanations for Deep Learning

Eoin M. Kenny, Mark T. Keane|arXiv (Cornell University)|2020. 09. 10.

Explainable Artificial Intelligence (XAI)인용 수 6

한 줄 요약

이 논문은 컴퓨터 비전 분야의 딥러닝 모델을 위한 타당한 반대가치 및 반반대가치 설명을 생성하는 새로운 방법인 PIECE를 소개한다. 이미지의 '비정상적' 특징만을 수정하여 반대가치 클래스와 일치하도록 함으로써, PIECE는 최소한의 특징 변경으로도 매우 타당한 설명을 생성하며, L1 거리 및 모델 신뢰도 점수를 포함한 다양한 지표에서 기존 방법들을 능가하는 반대가치 및 반반대가치 타당성을 보인다.

ABSTRACT

There is a growing concern that the recent progress made in AI, especially regarding the predictive competence of deep learning models, will be undermined by a failure to properly explain their operation and outputs. In response to this disquiet counterfactual explanations have become massively popular in eXplainable AI (XAI) due to their proposed computational psychological, and legal benefits. In contrast however, semifactuals, which are a similar way humans commonly explain their reasoning, have surprisingly received no attention. Most counterfactual methods address tabular rather than image data, partly due to the nondiscrete nature of the latter making good counterfactuals difficult to define. Additionally generating plausible looking explanations which lie on the data manifold is another issue which hampers progress. This paper advances a novel method for generating plausible counterfactuals (and semifactuals) for black box CNN classifiers doing computer vision. The present method, called PlausIble Exceptionality-based Contrastive Explanations (PIECE), modifies all exceptional features in a test image to be normal from the perspective of the counterfactual class (hence concretely defining a counterfactual). Two controlled experiments compare this method to others in the literature, showing that PIECE not only generates the most plausible counterfactuals on several measures, but also the best semifactuals.

연구 동기 및 목표

• 인간의 추론에서 심리적 및 실용적 이점이 있는 반반대가치 설명에 대한 주목 부족을 해결할 것.
• 픽셀의 이산적이지 않은 고차원적 성격으로 인해 이미지 데이터에 대한 타당한 반대가치 생성이 어려운 문제를 해결할 것.
• 데이터 다양체 위에 위치하고, 최소한의 의미 있는 특징 변경만을 요구하는 대조적 설명(반대가치 및 반반대가치)을 생성하는 방법을 개발할 것.
• 모델 내부 구조나 내부 가중치에 대한 접근이 필요 없이 블랙박스 CNN 분류기의 사후 설명을 제공할 것.
• 반반대가치 설명(즉, '조차도' 추론을 사용함)이 반대가치 설명만큼 해석 가능성 향상과 부정적 감정 반응 감소에 효과적일 수 있음을 입증할 것.

제안 방법

• 진짜 클래스와 반대가치 클래스 간의 활성화 차이를 기반으로 통계적 유의성(α = 0.05)을 사용해 테스트 이미지의 '비정상적' 특징을 식별한다.
• 비정상적 특징만을 수정하여 반대가치 클래스의 관점에서 '정상적'이 되도록 함으로써 반대가치 인스턴스를 생성한다.
• 생성된 반대가치가 L2 거리 측면에서 원본 이미지에 가까이 있도록 잠재공간 최적화 프로세스를 사용하여 타당성을 유지한다.
• 동일한 수정 프로세스를 적용하지만 원래 클래스를 유지함으로써 반반대가치를 생성한다. 이는 예측을 변경하지 않으면서 어떤 특징이 변경될 수 있는지를 보여준다.
• 생성 과정을 안내하기 위해 심층 신경망의 특징 표현(잠재공간을 통해)을 활용하여 출력 결과가 데이터 다양체 내에 유지되도록 한다.
• L1 거리, 모델 신뢰도(MC-Dropout), 최근접 이웃 거리, 이미지 품질 점수(IM1/IM2)를 포함한 다수의 타당성 지표를 적용하여 생성된 설명의 평가를 수행한다.

실험 결과

연구 질문

• RQ1 비이산적인 데이터에서 이미지 기반 딥러닝 모델에 대해 타당한 반대가치 설명을 생성할 수 있는 방법을 개발할 수 있는가?
• RQ2 예측 클래스를 변경하지 않고 비정상적 특징을 수정함으로써 생성된 반반대가치 설명은 반대가치 설명보다 더 해석 가능하고 심리적으로 자연스러운가?
• RQ3 L1 거리, 모델 신뢰도, 최근접 이웃 거리 측정 기준으로 다양한 설명 생성 방법 간의 타당성은 어떻게 비교되는가?
• RQ4 반반대가치 설명에서 타당성과 특징 변경 수 사이에 트레이드오프가 존재하는가? PIECE는 이 트레이드오프를 어떻게 관리하는가?
• RQ5 동일한 프레임워크를 사용해 반대가치 및 반반대가치 설명을 모두 생성할 수 있는가? 이는 예외성 기반 메커니즘에 기반한가?

주요 결과

• PIECE는 기준 방법보다 유의미하게 더 타당한 반대가치를 생성하였으며, L1 거리 점수와 더불어 모델 신뢰도(MC-Dropout) 및 최근접 이웃 거리(NN-Dist) 지표에서 뛰어난 성능을 보였다.
• 반반대가치 생성에서 PIECE는 min-edit 방법보다 유의미하게 높은 L1 거리(AD > 2.5, p < .029)를 기록하여 더 의미 있고 뚜렷한 특징 변경을 이끌었다.
• 모든 방법이 더 큰 거리에서 더 나은 반반대가치를 생성했지만, PIECE는 모든 테스트 거리에서 일관되게 최상의 성능을 기록했다(AD > 3.3, p < .015).
• MC-Dropout 및 NN-Dist 지표는 명확한 트레이드오프를 보였다: 반반대가치가 더 뚜렷해질수록(높은 L1 거리), 모델 신뢰도와 타당성 점수가 감소하는 경향을 보였으며, 이는 뚜렷함과 충실도 사이의 균형을 의미한다.
• IM1 및 IM2 지표는 점진적인 특징 수정에 대해 유의미한 변화가 없었으며, 이는 MC-Mean, MC-STD 및 NN-Dist에 비해 설명 품질 변화에 덜 민감할 수 있음을 시사한다.
• 이 방법은 동일한 프레임워크를 사용해 반대가치 및 반반대가치 설명을 성공적으로 생성하였으며, 이는 그 유연성과 XAI 분야에서의 광범위한 응용 가능성을 보여주었다.