[논문 리뷰] Efficient Image Evidence Analysis of CNN Classification Results

Keyang Zhou, Bernhard Kainz|arXiv (Cornell University)|2018. 01. 05.

Explainable Artificial Intelligence (XAI)참고 문헌 15인용 수 3

한 줄 요약

이 논문은 단일 순방향 및 역방향 전파를 통해 기울기 기반의 시각화 지apap을 계산하여 CNN 분류 결정의 영상 증거를 신속하고 노이즈에 강건한 방식으로 시각화하는 방법을 제안한다. 예측 차이 분석을 입력 공간에서 기대값을 계산하도록 재구성함으로써 이전 방법 대비 10배 빠른 성능을 달성하였으며, 관련 영상 영역에 집중된 더 선명하고 해석 가능한 증거 지도를 생성한다.

ABSTRACT

Convolutional neural networks (CNNs) define the current state-of-the-art for image recognition. With their emerging popularity, especially for critical applications like medical image analysis or self-driving cars, confirmability is becoming an issue. The black-box nature of trained predictors make it difficult to trace failure cases or to understand the internal reasoning processes leading to results. In this paper we introduce a novel efficient method to visualise evidence that lead to decisions in CNNs. In contrast to network fixation or saliency map methods, our method is able to illustrate the evidence for or against a classifier's decision in input pixel space approximately 10 times faster than previous methods. We also show that our approach is less prone to noise and can focus on the most relevant input regions, thus making it more accurate and interpretable. Moreover, by making simplifications we link our method with other visualisation methods, providing a general explanation for gradient-based visualisation techniques. We believe that our work makes network introspection more feasible for debugging and understanding deep convolutional networks. This will increase trust between humans and deep learning models.

연구 동기 및 목표

• 의료 영상 및 자율주행과 같은 임상적 응용 분야에서 CNN 결정을 이해하기 위한 효율적이고 해석 가능한 시각화 방법의 부족을 해결하기 위해.
• 증거 시각화의 계산 비용을 줄이면서도 해석 가능성과 노이즈 내성 능력을 유지하거나 향상시키기 위해.
• 기울기 기반 시각화 기법들을 공통 수학적 공식을 통해 통합하는 프레임워크를 제공하기 위해.
• 디버깅, 신뢰 구축 및 모델 검증을 위한 빠른 딥 네트워크 내부 분석을 가능하게 하기 위해.

제안 방법

• 출력 공간이 아닌 입력 공간에서 기대값을 계산함으로써 고차원 분포에서의 샘플링을 피하는 예측 차이 분석의 새로운 공식을 제안한다.
• 분류기 출력이 입력 픽셀에 대해 미분한 기울기를 통해 단일 순방향 및 역방향 전파로 픽셀 단위 중요도 점수를 계산한다.
• 로컬 픽셀 컨텍스트를 모델링하기 위해 조건부 평균 기반의 기준값 $ x_i' $ 을 도입하며, 이웃 픽셀로부터의 예측 가능성에 따라 픽셀을 가중치 부여한다.
• 편차가 로컬 컨텍스트에서 벗어난 픽셀을 강조하기 위해 가중치 규칙 $ R_i = \frac{\partial f}{\partial x_i} \cdot (x_i - x_i') $ 를 적용함으로써 분류 특징에 더 집중한다.
• 속도 향상을 위해 단일 전파 알고리즘으로 단순화하나, 노이즈가 증가하는 대가를 지ay며 다른 기울기 기반 기법과의 비교를 가능하게 한다.
• 기울기 기반 기여도의 공통 수학적 기반을 보여줌으로써 기존 기법들인 클래스 시각화 지도와 Deep Taylor 분해법과의 유사성을 규명한다.

실험 결과

연구 질문

• RQ1 해석 가능성에 손상이 가지 않고도 CNN 분류 결정에 대한 증거 시각화를 크게 가속화할 수 있는가?
• RQ2 조건부 기대값을 통한 픽셀 컨텍스트 모델링이 시각화 지도의 품질과 집중도에 어떤 영향을 미치는가?
• RQ3 본 연구 방법과 기존 기울기 기반 시각화 기법(예: 클래스 시각화 지도, Deep Taylor 분해법) 간의 관계는 어떠한가?
• RQ4 단일 전파, 입력 공간 기반 기대값 공식이 다중 전파, 샘플링 기반 방법보다 속도와 노이즈 내성 면에서 뛰어나게 성능을 냈는가?

주요 결과

• 제안된 방법은 이전 최고 성능 방법 [19] 대비 최소 10배 빠른 속도를 기록하였으며, 전파 횟수 감소와 샘플링 제거로 인해 빠른 성능 향상을 달성하였다.
• 출력 공간에서의 확률적 샘플링을 피하기 때문에 기존 기준 방법보다 노이즈가 적은 시각화 결과를 생성한다.
• 더 해석 가능하고 관련 영상 영역에 집중된 결과를 도출하였으며, 특히 배경 잡음이 아닌 객체에 더 명확히 초점을 맞춘다.
• 단순화된 버전은 더 빠르지만 더 노이즈가 많아지는 결과를 보였으며, 이는 전체 공식이 신호 대 노이즈 비율을 더 잘 유지함을 확인한다.
• 수학적으로 클래스 시각화 지도와 Deep Taylor 분해법과 연결되며, 이 세 가지 모두 기울기 기반 기여도를 사용하지만, 컨텍스트 또는 기준점에 기반한 다른 가중치 규칙을 적용한다.
• 동일한 클래스의 이미지에 적용했을 때, 불변의 클래스 특화 결정 규칙을 식별할 수 있었으며, 이는 데이터셋 전체에 걸쳐 분류기의 행동을 분석할 수 있음을 의미한다.