[논문 리뷰] Explaining an image classifier's decisions using generative models

Chirag Agarwal, Anh‐Tu Nguyen|arXiv (Cornell University)|2019. 10. 09.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 분류기 결정을 설명할 때 더 현실적인 반대 조건 이미지를 생성하기 위해 생성적 보정기(generative inpainter)를 추론 방법에 통합하는 것을 제안한다. 히ュ리스틱한 변형(예: 흐림 처리 또는 마스킹) 대신 현실적인 이미지 생성을 사용함으로써, ImageNet과 Places365에서 객체 국소화, 삭제, 활성도 메트릭 등 다양한 평가 기준에서 추론 품질이 향상된다.

ABSTRACT

Perturbation-based explanation methods often measure the contribution of an input feature to an image classifier's outputs by heuristically removing it via e.g. blurring, adding noise, or graying out, which often produce unrealistic, out-of-samples. Instead, we propose to integrate a generative inpainter into three representative attribution methods to remove an input feature. Our proposed change improved all three methods in (1) generating more plausible counterfactual samples under the true data distribution; (2) being more accurate according to three metrics: object localization, deletion, and saliency metrics; and (3) being more robust to hyperparameter changes. Our findings were consistent across both ImageNet and Places365 datasets and two different pairs of classifiers and inpainters.

연구 동기 및 목표

• 허위 조건 샘플이 현실적이지 않거나 분포 외(out-of-distribution)인 히ュ리스틱 변형 기반 설명 방법의 한계를 해결하기 위해.
• 이미지 분류기 결정을 설명하는 데 사용되는 반대 조건 이미지의 충실도와 타당성을 향상시키기 위해.
• 히ュ리스틱한 특성 제거 대신 현실적인 이미지 생성을 활용하여 추론 방법의 정확성과 강건성을 향상시키기 위해.
• 다양한 데이터셋과 모델 조합에서 생성적 보정이 여러 추론 방법에 미치는 영향을 평가하기 위해.

제안 방법

• 히ュ리스틱한 특성 제거를 현실적인 이미지 복원으로 대체하기 위해 사전에 훈련된 생성적 보정기를 세 가지 대표적인 추론 방법에 통합한다.
• 특정 입력 특성의 마스킹을 통해 반대 조건 이미지를 생성하고, 맥락에 기반한 타당한 내용으로 채워 넣는다.
• 수정된 추론 방법을 적용하여 진정한 데이터 분포 하에서 생성된 반대 조건 이미지를 사용해 특성 중요도 점수를 계산한다.
• 표준 평가 지표인 객체 국소화, 삭제, 활성도를 활용해 추론 품질을 평가한다.
• 일관성 있는 일반화를 확보하기 위해 ImageNet과 Places365에서 두 가지 다른 분류기-보정기 조합을 사용해 방법을 훈련하고 평가한다.
• 보정 기반 방법이 기준 히ュ리스틱 기반 기법에 비해 더 현실적인 반대 조건 이미지를 생성한다는 것을 검증한다.

실험 결과

연구 질문

• RQ1 히ュ리스틱한 변형 대신 생성적 보정을 사용함으로써 추론 방법에서 반대 조건 이미지의 현실성이 향상되는가?
• RQ2 생성적 보정의 사용이 표준 평가 지표에서 추론 방법의 정확성에 어떤 영향을 미치는가?
• RQ3 제안된 방법이 기준 방법에 비해 하이퍼파ram터 변화에 대해 얼마나 더 강건한가?
• RQ4 성능 향상이 다양한 데이터셋과 분류기-보정기 조합 전반에서 유지되는가?
• RQ5 생성적 보정을 통해 진정한 데이터 분포를 더 잘 반영하는 더 충실한 설명을 얻을 수 있는가?

주요 결과

• 제안된 방법은 히ュ리스틱 변형 기반 방법에 비해 상당히 더 타당하고 현실적인 반대 조건 샘플을 생성한다.
• 세 가지 추론 방법 모두 생성적 보정을 사용할 경우 객체 국소화, 삭제, 활성도 메트릭에서 성능 향상을 보였다.
• 기준 방법에 비해 하이퍼파ram터 변화에 더 강건한 것으로 나타났다.
• ImageNet과 Places365 데이터셋 전반에서 일관된 향상이 관찰되었다.
• 두 가지 다른 분류기-보정기 조합 전반에서 성능 향상이 관찰되어 방법의 일반화 능력이 확인되었다.
• 결과적으로 진정한 데이터 분포 하에서 현실적인 반대 조건 이미지를 사용할 경우 더 신뢰할 수 있고 정확한 모델 설명이 가능하다는 것이 확인되었다.