[논문 리뷰] Interpreting CNNs via Decision Trees

Quanshi Zhang, Yang Yu외 2명|arXiv (Cornell University)|2018. 02. 01.

Explainable Artificial Intelligence (XAI)참고 문헌 45인용 수 27

한 줄 요약

이 논문은 고수준 특징 활성화를 의미적 객체 부분으로 매핑하는 의사결정트리 학습을 통해 사전 훈련된 CNN을 해석하는 방법을 제안한다. 이는 각 예측이 내려진 *이유*에 대한 정량적이고 인간이 읽을 수 있는 설명을 가능하게 하며, 필터를 해석 가능한 부분으로 분리하고, 결정 방식을 굵기에서 세밀함으로 정렬하며, 각 부분의 예측 점수에 대한 수치 기여도를 보고한다. 이는 의미적 명확성과 추론의 정확성에서 픽셀 수준의 설명보다 뛰어나다.

ABSTRACT

This paper aims to quantitatively explain rationales of each prediction that is made by a pre-trained convolutional neural network (CNN). We propose to learn a decision tree, which clarifies the specific reason for each prediction made by the CNN at the semantic level. I.e., the decision tree decomposes feature representations in high conv-layers of the CNN into elementary concepts of object parts. In this way, the decision tree tells people which object parts activate which filters for the prediction and how much they contribute to the prediction score. Such semantic and quantitative explanations for CNN predictions have specific values beyond the traditional pixel-level analysis of CNNs. More specifically, our method mines all potential decision modes of the CNN, where each mode represents a common case of how the CNN uses object parts for prediction. The decision tree organizes all potential decision modes in a coarse-to-fine manner to explain CNN predictions at different fine-grained levels. Experiments have demonstrated the effectiveness of the proposed method.

연구 동기 및 목표

• 픽셀 수준의 색소맵을 넘어서 의미적이고 정량적인 CNN 예측 설명을 제공하기 위해.
• 부분 애너테이션 없이도 고층 CNN 필터를 해석 가능한 객체 부분 개념으로 분리하기 위해.
• 각 예측의 추론 과정을 트리 내의 결정 경로로 모델링하여, 이미지 간 공통적인 결정 방식을 포착하기 위해.
• 사용자가 *어느 부분* 이며, *각 부분이 최종 출력에 얼마나 기여하는지*를 이해할 수 있도록 하기 위해.
• 추상적인 특징 표현과 인간이 이해할 수 있는 언어적 설명 간 격차를 메우기 위해.

제안 방법

• 부분 애너테이션이 없이도, 각 필터가 이미지 전반에 걸쳐 단일 객체 부분에 일관되게 활성화되도록, 고층 컨볼루션 레이어에서 분리된 필터를 갖는 CNN을 훈련한다.
• 가능한 결정 방식을 굵기에서 세밀함으로 정렬한 계층적 구조로 조직화하는 의사결정트리를 학습한다. 이는 객체 부분이 어떻게 조합되어 예측에 기여하는지를 표현한다.
• 각 입력 이미지에 대해 의사결정트리에서 해석 트리(파싱 트리)를 추론하여 신경 활성화를 특정 객체 부분과 그 기여도로 매핑한다.
• 의사결정트리의 노드를 사용해 각 객체 부분(필터)이 최종 예측 점수에 기여하는 수치적 기여도를 추정한다.
• 의미 없는 필터를 억제하기 위해 정규화 기법을 적용하여 희박하고 의미 있는 결정 경로를 보장한다.
• 정보 손실 측정을 위해 트리 구조 표현에서 분류 정확도와 예측 오차를 평가한다.

실험 결과

연구 질문

• RQ1 의사결정트리를 사용해 CNN의 예측 배경이 되는 의미적 추론을 자동으로 발견하고 표현할 수 있는가?
• RQ2 의사결정트리는 같은 클래스의 다양한 이미지에서 CNN이 사용하는 공통된 결정 패턴을 얼마나 잘 포착할 수 있는가?
• RQ3 의사결정트리는 필터의 기여도에 대해 얼마나 정량적이고 인간이 이해할 수 있는 설명을 제공할 수 있는가?
• RQ4 Grad-CAM과 같은 픽셀 수준의 시각화 방법과 비교해, 모델의 설명 정확성은 어떻게 되는가?
• RQ5 이 방법은 부분 애너테이션이 없는 다양한 CNN 아키텍처와 데이터셋에 일반화 가능한가?

주요 결과

• 의사결정트리는 CNN의 모든 잠재적 결정 방식을 굵기에서 세밀함으로 정렬된 구조로 성공적으로 인코딩하여 예측의 계층적 설명을 가능하게 하였다.
• CUB200-2011 데이터셋에서 VGG-M 아키텍처를 사용해 96.5%의 top-1 정확도를 달성하여 강력한 예측 성능를 입증하였다.
• ILSVRC Animal-Part 데이터셋에서 의사결정트리의 2층 평균 예측 오차는 0.052로, 설명 과정에서의 정보 손실이 낮음을 시사한다.
• 세밀한 결정 모드(예: 100층)는 더 낮은 오차율(0.034)을 보이며, 추론 추정의 정밀도가 더 높음을 확인하였다.
• VGG-16를 사용해 VOC Part에서 95.4%의 정확도를 달성하여 아키텍처 간 강건성을 입증하였다.
• 모든 데이터셋과 모델에서 평균 분류 정확도가 90% 이상 유지되어, 이 방법의 일관성과 효과성을 검증하였다.