[논문 리뷰] Understanding Convolutional Networks with APPLE : Automatic Patch Pattern Labeling for Explanation

Sandeep Konam, Ian Quah외 2명|arXiv (Cornell University)|2018. 02. 11.

Explainable Artificial Intelligence (XAI)참고 문헌 23인용 수 4

한 줄 요약

APPLE (자동 패치 패턴 레이블링을 통한 해석을 위한 신경망)는 합성곱 신경망(CNN) 내 중요한 뉴런을 식별하고, 사전 훈련된 분류기를 사용하여 이러한 뉴런을 활성화하는 이미지 패치를 자동으로 레이블링하는 방법이다. 뉴런 중요도 측정값과 탈합성화 시각화를 결합함으로써 해석 가능성성을 향상시켜, 객체 국소화 정확도 93%와 상위 2개 레이블 정밀도 최대 0.87을 달성하며, 무작위 뉴런 선택 방식을 능가하고 네트워크 수정 없이도 인간이 이해할 수 있는 설명을 가능하게 한다.

ABSTRACT

With the success of deep learning, recent efforts have been focused on analyzing how learned networks make their classifications. We are interested in analyzing the network output based on the network structure and information flow through the network layers. We contribute an algorithm for 1) analyzing a deep network to find neurons that are 'important' in terms of the network classification outcome, and 2)automatically labeling the patches of the input image that activate these important neurons. We propose several measures of importance for neurons and demonstrate that our technique can be used to gain insight into, and explain how a network decomposes an image to make its final classification.

연구 동기 및 목표

• 분류 결과에 기여하는 데 핵심적인 뉴런을 식별함으로써 CNN 결정의 자동화된 설명을 제공하는 것.
• 중요한 뉴런을 활성화하는 패치에 대한 수동 레이블링을 제거하고, 자동으로 기술적 특성(예: 눈, 털, 코 등)을 부여하는 것.
• 모든 레이어에서 CNN의 이미지 특징 처리 방식을 확장 가능하고 인간이 이해할 수 있는 방식으로 설명할 수 있도록 하는 것.
• 최종 예측에 기여하는 신호 전파를 반영하는 뉴런 중요도 측정 기준을 평가하는 것.
• 아키텍처 변경 없이도 객체 인식에서 특징 사용 방식을 이해하는 데 패치 레이블링이 기여하는지를 입증하는 것.

제안 방법

• APPLE는 활성화의 합과 분산, 그리고 특징 맵을 통해 연결된 가중치의 합과 분산을 계산하여 뉴런 중요도를 측정하는 네 가지 지표를 사용한다.
• 탈합성화를 수행하여 중요한 뉴런으로부터 역행적으로 입력 이미지 패치로 추적함으로써, 해당 뉴런을 활성화하는 공간적 패턴을 재구성한다.
• 별도로 사전 훈련된 패치 분류기(AdaBoost-SVM)가 검출된 이미지 패치에 객체 속성(예: 눈, 털, 코 등)을 레이블링한다.
• 기존 CNN 아키텍처를 수정하지 않기 때문에, VGG-16과 같은 사전 훈련된 모델에 적용할 수 있다.
• 무작위 뉴런 선택 및 CAM과 같은 기준 방법과의 비교를 통해 국소화 정확도와 레이블 정밀도를 평가함으로써 중요도를 평가한다.
• 각 객체 클래스별로 전용 패치 분류기를 훈련시켜 다중 클래스 객체 인식을 지원한다.

실험 결과

연구 질문

• RQ1 활성화와 가중치 통계에 기반한 뉴런 중요도 측정 기준이 분류에 기여하는 뉴런을 효과적으로 식별할 수 있는가?
• RQ2 탈합성화 네트워크가 중요한 뉴런을 활성화하는 입력 이미지 패치를 신뢰성 있게 재구성할 수 있는가?
• RQ3 별도의 분류기가 재구성된 패치의 의미적 속성을 정확하게 레이블링하여 인간의 해석 가능성을 향상시킬 수 있는가?
• RQ4 APPLE의 객체 국소화 및 패치 레이블링 성능은 CAM 및 무작위 뉴런 선택과 비교해 어떻게 다른가?
• RQ5 아키텍처 수정 없이도 다양한 객체 클래스와 데이터셋에 대해 메모리 사용량이 증가하지 않고 확장 가능한가?

주요 결과

• APPLE의 활성화 합 측정 기준이 93%의 객체 국소화 정확도를 달성하여 무작위 기준(54%)을 크게 능가했다.
• 패치 분류의 상위 2개 레이블 정밀도는 0.871에 도달하여, 눈과 코처럼 유사한 속성 간 혼동이 있더라도 뛰어난 성능을 보였다.
• 이 방법은 객체 윤곽 전체를 커버하는 패치를 국소화하여, 아키텍처 수정이 필요한 CAM보다 더 많은 객체 영역을 포괄했다.
• 모든 네 가지 중요도 측정 기준(합, 분산, 활성화, 가중치)이 ImageNet 및 INRIA 데이터셋에서 흰여우, 개, 사람에 대해 일관되게 관련된 이미지 영역을 식별했다.
• 패치 분류기는 상위 1개 정확도 69.7%를 기록했으며, 상위 2개 예측을 통한 정확도는 83.2%로 향상되어, 더 나은 훈련 데이터로 정확도 향상이 가능할 것임을 시사했다.
• 이 방법은 주목할 만한 이미지 패치의 특징 국소화와 의미적 레이블링을 자동화함으로써 CNN 결정을 해석하는 데 필요한 수동 작업을 줄였다.