[논문 리뷰] Combining Counterfactuals With Shapley Values To Explain Image Models

Aditya Lahiri, Kamran Alipour외 2명|arXiv (Cornell University)|2022. 06. 14.

Explainable Artificial Intelligence (XAI)인용 수 7

한 줄 요약

이 논문은 고차원 이미지 입력에 대한 설명을 제공하기 위해 대조적이고 인간이 이해할 수 있는 설명을 생성하기 위해 반사적 이미지 생성과 샤플리 값의 조합을 제안한다. 사전 훈련된 StyleGAN2와 학습된 이동 예측기(Shift Predictor)를 사용하여 고수준 특성 기반의 반사적 이미지를 생성하고, 원본 이미지와 반사적 이미지 간의 예측 차이를 설명하기 위해 샤플리 값을 계산함으로써, 이론적으로 강력한 보장을 갖춘 충족 가능한 설명을 제공한다.

ABSTRACT

With the widespread use of sophisticated machine learning models in sensitive applications, understanding their decision-making has become an essential task. Models trained on tabular data have witnessed significant progress in explanations of their underlying decision making processes by virtue of having a small number of discrete features. However, applying these methods to high-dimensional inputs such as images is not a trivial task. Images are composed of pixels at an atomic level and do not carry any interpretability by themselves. In this work, we seek to use annotated high-level interpretable features of images to provide explanations. We leverage the Shapley value framework from Game Theory, which has garnered wide acceptance in general XAI problems. By developing a pipeline to generate counterfactuals and subsequently using it to estimate Shapley values, we obtain contrastive and interpretable explanations with strong axiomatic guarantees.

연구 동기 및 목표

• 픽셀 수준의 설명이 인간에게 해석 가능하지 않은 고차원 이미지 입력을 설명하는 데 도전하는 데 목적이 있다.
• 기존의 샤플리 값 방법론이 이미지 모델에 적용될 경우 과도한 계산 비용과 대조적 맥락의 부재로 인해 한계를 가진다는 점을 극복하는 데 목적이 있다.
• 특정 고수준 특성을 수정하는 반사적 이미지를 생성함으로써 대조적이고 인간이 이해할 수 있는 설명을 제공하는 데 목적이 있다.
• 생성 모델과 게임 이론적 기반의 기여도를 활용하여, 이미지 분류기 결정에 대해 충족 가능한, 공정하고 해석 가능한 설명을 제공하는 데 목적이 있다.
• 사전 훈련된 구성 요소를 최소한으로 사용하는 훈련 설정을 통해 모델에 종속되지 않고 확장 가능하며 신뢰할 수 있는 이미지 예측 설명을 제공하는 데 목적이 있다.

제안 방법

• 사전 훈련된 StyleGAN2 생성기(Generator)를 사용하여 특정 특성 변화에 따라 잠재 공간을 조작함으로써 고해상도이고 현실적인 반사적 이미지를 생성한다.
• 이해하기 쉬운 특성(예: 이마의 넓이, 젊은 느낌 등)의 변화를 StyleGAN2 잠재 공간 내의 해당하는 벡터 조정으로 매핑하기 위해 이동 예측기 모델을 훈련한다.
• 원본 이미지의 잠재 코드에 학습된 이동을 적용하여 반사적 이미지를 생성함으로써, 현실적이면서 의미적으로 유의미한 수정을 보장한다.
• 수정된 특성들을 특성으로 삼아 원본 이미지와 반사적 이미지 간의 모델 예측 차이를 설명하기 위해 샤플리 값을 계산한다.
• 모든 가능한 협력 집합의 평균을 구하는 대신, 원본 이미지와 반사적 이미지라는 두 개의 특정 이미지만을 직접 비교함으로써, 이론적으로 강력한 기초를 가진 대조적 설명을 제공한다.
• VGG 기반 백본에 다중 작업 분류기를 사용하여 이미지에서 이해 가능한 특성을 추출하고, 이를 이동 예측기와 샤플리 값 계산의 입력으로 사용한다.

실험 결과

연구 질문

• RQ1 어떻게 특정 고수준 특성을 수정하는 의미 있고 현실적인 반사적 이미지를 생성할 수 있는가?
• RQ2 고수준의 이해 가능한 특성에 기반한 샤플리 값은 픽셀 수준의 기여도보다 더 해석 가능하고 대조적인 설명을 제공할 수 있는가?
• RQ3 과도한 계산 비용 없이도 이미지 모델에 대해 샤플리 값을 효율적으로 계산할 수 있는가?
• RQ4 반사적 이미지 생성과 샤플리 값의 조합이 이론적으로 강력한 보장을 갖추면서도 인간의 인지에 충실한 설명을 제공할 수 있는가?
• RQ5 인지 과학의 지원에 따라 대조적 추론을 통합함으로써, 모델 설명을 더 직관적으로 만들 수 있는가?

주요 결과

• 이미지 O₁의 경우, 이마의 넓이와 남성성은 증가시키고 젊은 느낌, 화장, 갈색 머리카락의 강도를 감소시킴으로써 매력도 예측치가 0.73에서 0.12로 감소하여 0.61 감소하였다.
• 이마의 넓이가 -0.34의 기여도를 보이며 감소의 주요 원인이 되었고, 그 다음으로 젊은 느낌이 -0.28의 기여도를 보였다.
• 반사적 이미지 C₄는 젊은 느낌, 갈색 머리카락, 화장 강도를 증가시키고 남성성과 이마의 넓이를 감소시켜 생성되었으며, 이로 인해 이러한 특성들에 대한 양의 샤플리 기여도로 인해 예측치 변화가 설명되었다.
• 재학습이나 복잡한 최적화 없이도 사전 훈련된 StyleGAN2와 경량 이동 예측기만으로도 현실적인 반사적 이미지를 성공적으로 생성하였다.
• 샤플리 값 기여도는 인간의 사고 방식과 일치하는 명확한 대조적 설명을 제공하였으며, 특정 특성의 변화가 모델 예측에 직접적인 영향을 미친다는 점을 보여주었다.
• 사전 훈련된 VGG 기반 백본을 이용한 특성 예측과 단일 이동 예측기 모델만을 사용하여 최소한의 훈련으로도 충실하고 해석 가능한 설명을 달성하였다.