[논문 리뷰] Explanation by Progressive Exaggeration

Sumedha Singla, Brian P. Pollack외 2명|arXiv (Cornell University)|2019. 11. 01.

Explainable Artificial Intelligence (XAI)참고 문헌 42인용 수 13

한 줄 요약

이 논문은 입력 이미지의 점진적이고 현실적인 변형을 점진적으로 생성함으로써 블랙박스 분류기의 결정을 원래 클래스에서 그 부정으로 체계적으로 이동시키는 모델에 종속되지 않는 방법을 제안한다. 기울기 정보와 조건부 생성 모델을 활용하여 결정 경계를 가로질러 조정 가능한 점진적 설명 경로를 생성함으로써, 의료 영상 및 벤치마크 작업에서 특징 중요도를 탐색하고 편향을 탐지하며 모델 행동을 고정밀도로 검증할 수 있다.

ABSTRACT

As machine learning methods see greater adoption and implementation in high stakes applications such as medical image diagnosis, the need for model interpretability and explanation has become more critical. Classical approaches that assess feature importance (e.g. saliency maps) do not explain how and why a particular region of an image is relevant to the prediction. We propose a method that explains the outcome of a classification black-box by gradually exaggerating the semantic effect of a given class. Given a query input to a classifier, our method produces a progressive set of plausible variations of that query, which gradually changes the posterior probability from its original class to its negation. These counter-factually generated samples preserve features unrelated to the classification decision, such that a user can employ our method as a "tuning knob" to traverse a data manifold while crossing the decision boundary. Our method is model agnostic and only requires the output value and gradient of the predictor with respect to its input.

연구 동기 및 목표

• 의료 영상 진단과 같은 고위험 응용 분야에서 블랙박스 모델 결정에 대한 직관적이고 점진적이며 현실적인 설명의 부족을 해결하기 위해.
• 특징 중요도를 단지 파악하는 것이 아니라, 타당한 반대가치적 변형을 생성함으로써 모델이 예측을 내리는 이유를 설명하는 방법을 개발하기 위해.
• 사용자가 결정 경계를 '조절 노브'처럼 상호작용적으로 탐색하여 모델 행동을 이해하고 숨겨진 편향을 탐지할 수 있도록 하기 위해.
• 설명이 의미적으로 의미 있고 데이터 다양체에 충실하도록 보장하여 비현실적이거나 타당하지 않은 변형을 방지하기 위해.
• 편향된 및 편향이 없는 분류기 간의 설명을 비교함으로써 훈련된 모델에서 편향을 탐지할 수 있는 도구를 제공하기 위해.

제안 방법

• 이 방법은 질의 이미지 $ \mathbf{x} $ 와 원하는 출력 이동량 $ \delta $ 를 입력으로 받아, 분류기의 출력 확률을 $ \delta $ 만큼 이동시키는 변형된 이미지 $ \mathbf{x}_\delta $ 를 생성하는 조건부 생성기 $ G_f^\delta $ 를 사용한다.
• 생성기는 판별기 $ D $ 와 유사한 GAN 프레임워크를 사용하여 훈련되며, 이는 정체성과 의미 일관성을 유지하는 현실적이고 타당한 변형을 생성하도록 한다.
• 이 방법은 블랙박스 모델의 출력 $ f(\mathbf{x}) $ 와 그 기울기 $ \nabla_\mathbf{x}f(\mathbf{x}) $ 를 기반으로 하므로, 어떤 미분 가능한 분류기에도 적용 가능한 모델에 종속되지 않는 방법이다.
• 잠재 공간 인코더 $ E $ 는 입력 이미지를 잠재 표현 공간으로 매핑하여 생성기가 분리 가능하고 의미 있는 특징 변형을 학습할 수 있도록 한다.
• 작은 $ \delta $-이동을 반복적으로 적용함으로써 점진적인 과장 효과를 달성하며, 이는 예측을 양성에서 음성 클래스로 점차 변화시키는 이미지의 시퀀스를 생성한다.
• 생성기는 판별기를 통한 현실성 최적화와 기울기 가이던스를 통한 모델의 결정 경계에 대한 충실도 최적화를 통해 타당성을 보장한다.

실험 결과

연구 질문

• RQ1 모델에 종속되지 않는 방법이 블랙박스 분류기의 출력을 한 클래스에서 그 부정으로 체계적으로 이동시키는 현실적이고 점진적인 변형을 생성할 수 있는가?
• RQ2 생성된 반대가치적 이미지가 결정 경계를 가로질러도 정체성과 의미 일관성을 유지하는가?
• RQ3 사용자가 생성된 이미지의 점진적 변화를 신뢰성 있게 해석하여 과장된 대상 특징이나 클래스를 식별할 수 있는가?
• RQ4 이 방법은 특히 공정한 기준 모델과 비교했을 때 분류기의 의사결정 과정에서 숨겨진 편향을 탐지하고 폭 드러낼 수 있는가?
• RQ5 특수한 분포 특징(예: 의료 영상에서의 질병 패atters)을 설명하는 데 있어, 시각화 지도보다 이 방법이 얼마나 효과적인가?

주요 결과

• 인간 평가자들은 평균적으로 77%의 정확도로 목표 클래스를 식별했으며, '미소'의 경우 99%, '수염'의 경우 87%의 정확도를 기록했고, '앞머리'는 가장 도전적이었으며 50%의 정확도를 보였다.
• 상대적 순서 정렬 작업에서 평가자들은 전체적으로 83.5%의 정확도를 기록했으며, 카파 값이 0.41로 상당한 일치도를 보여, 점진적 변화의 인식이 신뢰할 수 있음을 시사했다.
• 편향 탐지 작업에서 평가자들의 93.75%가 편향된 분류기에서 생성된 설명의 편향 존재를 정확히 식별했으며, 12.5%는 '미소'와 '성별' 변화를 모두 탐지하여 미세하지만 탐지 가능한 아티팩트를 드러냈다.
• 이 방법은 벤치마크 데이터셋(예: CelebA)과 실제 의료 영상 데이터 모두에서 고품질의 현실적인 반대가치적 이미지를 성공적으로 생성했으며, 정체성과 의미 일관성을 유지했다.
• 이 방법은 편향된 모델에서 얼굴 영역의 비현실적이고 대규모의 변화를 드러내어 얼굴 속성 예측에서의 성별 편향과 같은 혼동 요인을 탐지하는 데 성공했다.
• 이 방법은 단지 정적 중요도를 강조하는 것만이 아니라 특징의 점진적 변화를 보여줌으로써 해석 가능성에서 시각화 지도를 능가했다.