[논문 리뷰] Convolutional Neural Network Interpretability with General Pattern Theory

Erico Tjoa, Cuntai Guan|arXiv (Cornell University)|2021. 02. 05.

Explainable Artificial Intelligence (XAI)참고 문헌 25인용 수 4

한 줄 요약

이 논문은 일반 패턴 이론(GPT)을 사용하여 구성 요소별 해석 가능성을 가능하게 하는 하이브리드 CNN 아키텍처인 GPTNet을 제안한다. 이미지를 학습 가능한 생성자(configuration)의 조합으로 모델링함으로써, 각 생성자별로 국소화된 히트맵을 생성함으로써 기존 XAI 기법보다 더 높은 해석 가능성과 정밀한 공간 정렬을 갖춘 합성 GPT 기반 MNIST 데이터의 효과적인 재구성 가능성을 입증한다.

ABSTRACT

Ongoing efforts to understand deep neural networks (DNN) have provided many insights, but DNNs remain incompletely understood. Improving DNN's interpretability has practical benefits, such as more accountable usage, better algorithm maintenance and improvement. The complexity of dataset structure may contribute to the difficulty in solving interpretability problem arising from DNN's black-box mechanism. Thus, we propose to use pattern theory formulated by Ulf Grenander, in which data can be described as configurations of fundamental objects that allow us to investigate convolutional neural network's (CNN) interpretability in a component-wise manner. Specifically, U-Net-like structure is formed by attaching expansion blocks (EB) to ResNet, allowing it to perform semantic segmentation-like tasks at its EB output channels designed to be compatible with pattern theory's configurations. Through these modules, some heatmap-based explainable artificial intelligence (XAI) methods will be shown to extract explanations w.r.t individual generators that make up a single data sample, potentially reducing the impact of dataset's complexity to interpretability problem. The MNIST-equivalent dataset containing pattern theory's elements is designed to facilitate smoother entry into this framework, along which the theory's generative aspect is naturally presented.

연구 동기 및 목표

• 딥 네URAL 네트워크(DNN)의 해석 가능성 문제를 근본적인 데이터 구조에 기반한 설명으로 해결하기 위해 노력한다.
• 데이터를 이산 생성자들의 구성으로 모델링하여 데이터셋의 복잡성 영향을 DNN의 해석 가능성에 최소화한다.
• 분류 및 의미적 세그멘테이션 능력을 통합한 새로운 아키텍처를 통해 구성 요소별 설명을 가능하게 한다.
• GPT 원칙에 따라 구성된 합성 MNIST 유사 데이터셋을 사용하여 프레임워크를 검증한다.
• 이론 기반의 통합 해석 가능성 프레임워크 내에서 XAI 방법을 평가하고 비교한다.

제안 방법

• GPTNet을 제안한다. 이는 분류를 위한 ResNet과 생성자 구성 예측를 위한 U-Net 유사 확장 블록(EBs)을 조합한 하이브리드 아키텍처이다.
• GPT 기반 데이터셋(GPT MNIST)을 설계하여 각 이미지를 격자 위에 배열된 유한한 생성자들의 구성으로 정의하며, 공간적 위치와 결합 값은 토폴로지 행렬에 의해 정의된다.
• GPTNet을 이미지 분류 및 생성자 구성 예측을 동시에 수행하도록 훈련시켜, 히트맵을 통한 구성 요소별 기여도 분석이 가능하게 한다.
• 확장 블록 출력에 표준 XAI 기법(예: Grad-CAM, Guided Backprop, Deconvolution)을 적용하여 생성자별 히트맵을 생성한다.
• 성장 함수를 사용하여 추출된 생성자들로부터 이미지를 재구성함으로써 학습된 구성의 생성 일관성을 검증한다.
• 공간적 확률 분포와 교란 분석을 활용하여 구성 요소별 설명의 정확성과 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 데이터를 기본 생성자들의 구성으로 모델링함으로써, 딥 네URAL 네트워크가 국소화된 구성 요소별 설명을 생성할 수 있는가?
• RQ2 생성자 수준의 해석 가능성에 특화된 아키텍처에 적용된 다양한 XAI 기법은 어떻게 성능을 보이는가?
• RQ3 모델이 추출된 생성자 구성으로부터 이미지를 얼마나 정밀하게 재구성할 수 있는가? 이는 학습된 표현의 질을 나타내는가?
• RQ4 이론에 기반한 데이터 구조(GPT)를 사용할 경우, 표준 경험적 XAI에 비해 해석 결과의 신뢰성과 일관성이 향상되는가?
• RQ5 모델이 GPT 기반 구조의 합성 데이터셋으로 훈련된 후 자연 이미지 데이터에 일반화 가능한가?

주요 결과

• GPTNet은 개별 생성자별로 국소화된 히트맵을 성공적으로 생성하여, Grad-CAM과 같은 기존 XAI 기법보다 더 정밀한 구성 요소별 해석 가능성을 입증하였다.
• Guided Backprop와 Deconvolution은 Grad-CAM보다 노이즈가 적고 생성자 수준 설명에서 더 뛰어난 성능(SRC 지표)을 보였지만, 표준 레이블 설명에서는 Guided Backprop가 성능이 열 劣하였다.
• GPT MNIST 데이터셋에서 추출된 생성자들로부터 고해상도 이미지 재구성을 성공적으로 수행하여, 학습된 구성이 생성 과정을 정확히 반영하고 있음을 확인하였다.
• 기존 MNIST 데이터에서는 재구성이 실패하여, 전이 학습이나 재학습 없이 자연 이미지 분포로 일반화되지 않았음을 시사하였다.
• 교란 분석 결과, 네트워크의 생성자 수준 변화에 대한 반응이 기대되는 행동과 일치함을 확인하여 설명의 공간 정밀도를 검증하였다.
• 추출된 구성들을 다시 이미지로 재구성함으로써 모델의 생성적 특성을 입증하였으며, 이는 모델이 생성 과정을 역행할 수 있음을 확인하였다.