[논문 리뷰] Explaining Image Classifiers by Adaptive Dropout and Generative In-filling.

Chun‐Hao Chang, Elliot Creager외 2명|arXiv (Cornell University)|2018. 07. 20.

Generative Adversarial Networks and Image Synthesis인용 수 7

한 줄 요약

이 논문은 결측 영역의 현실적인 이미지 보정을 생성하는 조건부 생성 모델을 사용하여 이미지 분류기의 설명을 제안한다. 이후 분류기의 예측을 가장 크게 변화시키는 영역을 최적화하여 특정 영역의 부재가 분류기의 예측에 미치는 영향을 규명한다. 보편적인 보정 기법인 흐림 처리나 노이즈 삽입과는 달리 데이터 분포에서 샘플링함으로써 더 정확하고 컴act하며 아티팩트가 없는 시각화 지도를 생성함으로써 기존 방법에 비해 향상된 성능을 보인다.

ABSTRACT

When an image classifier makes a prediction, which parts of the image are relevant and why? We can rephrase this question to ask: which parts of the image, if they were not seen by the classifier, would most change its decision? Producing an answer requires marginalizing over images that could have been seen but weren't. We can sample plausible image in-fills by conditioning a generative model on the rest of the image. We then optimize to find the image regions that most change the classifier's decision after in-fill. Our approach contrasts with ad-hoc in-filling approaches, such as blurring or injecting noise, which generate inputs far from the data distribution, and ignore informative relationships between different parts of the image. Our method produces more compact and relevant saliency maps, with fewer artifacts compared to previous methods.

연구 동기 및 목표

• 흐림 처리나 노이즈 주입과 같은 비현실적인 보정 기법에 의존하는 기존 시각화 방법에서의 충실도 부족 문제를 해결하기 위해.
• 주어진 예측에 가장 영향을 미치는 이미지 영역을 규명하여 딥 이미지 분류기의 해석 가능성 향상하기 위해.
• 생성 모델을 통해 데이터 분포에서 유의미한 보정을 생성함으로써 이미지 요소 간의 구조적 및 의미적 관계를 존중하는 방법 개발을 위해.
• 진정한 분류기 의사결정 과정을 반영하는 더 컴팩트하고 관련성이 높은 시각화 지도를 생성하기 위해.

제안 방법

• 이미지의 가시 영역을 조건으로 하여 생성 모델을 이용해 결손 영역에 대한 현실적인 보정을 생성하기 위해.
• 다양한 이미지 영역을 체계적으로 마스킹하기 위해 적응형 드롭아웃을 사용하고 분류기 출력에 미치는 영향을 평가하기 위해.
• 마스킹된 영역을 최적화하여 분류기의 예측을 가장 크게 변화시키는 영역을 식별하기 위해.
• 생성 모델이 상호 관계를 유지하는 현실적인 보정을 생성함으로써 분포 불일치 문제를 방지하기 위해.
• 생성 모델을 사용하여 보편적인 미관찰 영역에 대한 확률 분포를 근사함으로써 설명 작업을 가능한 미관찰 영역에 대한 마진화 문제로 공식화하기 위해.
• 분류기 기울기와 생성 보정을 조합하여 진정한 모델 행동을 반영하는 고해상도 시각화 지도를 생성하기 위해.

실험 결과

연구 질문

• RQ1 어느 이미지 영역이 분류기의 예측에 가장 중요하며, 히وري스틱 보정 기법에 의존하지 않고 이를 어떻게 식별할 수 있는가?
• RQ2 데이터 분포를 고려한 보정 기법을 사용할 경우, 기존 기준 대비 시각화 지도의 품질과 충실도가 어떻게 향상되는가?
• RQ3 생성 보정이 이미지 요소 간의 구조적 및 의미적 관계를 얼마나 잘 유지하여 더 정확한 설명을 가능하게 하는가?
• RQ4 적응형 드롭아웃과 생성 보정을 조합하면 기존 기울기 기반 또는 편차 기반 방법에 비해 더 컴팩트하고 노이즈가 적은 시각화 지도를 생성할 수 있는가?

주요 결과

• 제안된 방법은 흐림 처리나 노이즈 주입을 사용하는 기준 기법에 비해 더 컴팩트하고 아티팩트가 적은 시각화 지도를 생성한다.
• 데이터 분포에서 생성된 보정을 통해 이미지 요소 간의 의미 있는 관계를 포착함으로써 더 충실한 설명을 가능하게 한다.
• 비현실적인 보정 기법에 비해 더 현실적이고 맥락적으로 일관된 보정을 제공함으로써 관련 영역을 더 정확하게 식별할 수 있다.
• 조건부 생성을 통해 가능한 미관찰 영역에 대한 더 나은 마진화가 가능해져 설명의 신뢰성이 향상된다.