[논문 리뷰] Interpretable Deep Convolutional Neural Networks via Meta-learning

Xuan Liu, Xiaoguang Wang외 1명|arXiv (Cornell University)|2018. 02. 02.

Explainable Artificial Intelligence (XAI)참고 문헌 15인용 수 11

한 줄 요약

이 논문은 깊이 있는 컨볼루션 신경망(CNN)의 해석을 위해 은닉층 표현을 군집화와 랜덤 포레스트를 통해 모델링하는 메타학습 접근법인 CNN-INTE를 제안한다. 이 방법은 모델 정확도를 희생시키지 않은 채 모든 테스트 인스턴스에 대해 전역적이고 충실하며 시각화 가능한 분류 결정을 가능하게 하며, 각 분류 예측에 대해 활성화에서의 특징 수준 분리를 결정 트리로 추적한다.

ABSTRACT

Model interpretability is a requirement in many applications in which crucial decisions are made by users relying on a model's outputs. The recent movement for "algorithmic fairness" also stipulates explainability, and therefore interpretability of learning models. And yet the most successful contemporary Machine Learning approaches, the Deep Neural Networks, produce models that are highly non-interpretable. We attempt to address this challenge by proposing a technique called CNN-INTE to interpret deep Convolutional Neural Networks (CNN) via meta-learning. In this work, we interpret a specific hidden layer of the deep CNN model on the MNIST image dataset. We use a clustering algorithm in a two-level structure to find the meta-level training data and Random Forest as base learning algorithms to generate the meta-level test data. The interpretation results are displayed visually via diagrams, which clearly indicates how a specific test instance is classified. Our method achieves global interpretation for all the test instances without sacrificing the accuracy obtained by the original deep CNN model. This means our model is faithful to the deep CNN model, which leads to reliable interpretations.

연구 동기 및 목표

• 의료 및 범죄 정의와 같이 모델 결정이 설명되어야 하는 고위험 분야에서 깊이 학습의 해석 가능성 문제를 해결하기 위해.
• 딥 CNN의 내부 메커니즘을 분석함으로써 블랙박스로 간주하지 않고, 은닉층 표현을 분석함으로써 모델의 내부 메커니즘을 해석하기 위해.
• 원래 CNN의 높은 정확도를 유지하면서도 신뢰할 수 있고 인간이 이해할 수 있는 분류 행동의 설명을 제공하기 위해.
• 개별 예측 주변의 국소 근사가 아니라 모든 테스트 인스턴스에 걸쳐 전역적인 해석을 가능하게 하기 위해.
• 빅데이터에서 깊이 학습 모델을 해석하기 위한 확장 가능한, 텐서플로우 기반 도구를 개발하기 위해.

제안 방법

• 기존 CNN의 은닉층 활성화에서 메타레벨 학습 데이터를 식별하기 위해 이중 수준의 k-means 군집화 알고리즘을 적용한다.
• 메타레벨 테스트 데이터를 해석하기 위해 랜덤 포레스트를 기본 모델로 사용한다.
• 메타레벨 학습 데이터에 기반해 특성 값과 클래스 예측 간의 관계를 모델링하기 위해 결정 트리를 훈련시킨다.
• 각 노드에서의 활성화 값을 플로팅하여 결정 트리를 따라 분류 경로를 시각적으로 추적하며, 진짜 클래스와 가설 클래스를 비교한다.
• 색상 코드로 표시된 사각형(녹색: 분리 가능, 빨간색: 겹침)을 사용해 각 결정 노드에서의 진짜 클래스와 가설 클래스 활성화의 분리 가능성을 강조한다.
• 메타학습을 통해 임의의 은닉층으로의 해석을 확장하며, 입력 특징을 학습된 표현으로 매핑한다.

실험 결과

연구 질문

• RQ1 예측 정확도를 훼손하지 않고도 깊이 있는 CNN의 은닉층 내부의 의사결정 과정을 어떻게 해석할 수 있는가?
• RQ2 개별 예측 주변의 국소 근사가 아니라 모든 테스트 인스턴스에 걸쳐 전역적인 해석이 가능한가?
• RQ3 깊이 있는 CNN에서 특정 클래스 예측에 도달하는 특징 기반 순차적 분리를 어떻게 시각화할 수 있는가?
• RQ4 메타학습 기법을 사용해 깊이 학습 모델을 위한 충실하고 확장 가능한 해석 프레임워크를 구축할 수 있는가?
• RQ5 해석이 인간이 이해할 수 있고 원래 모델의 행동과 충실하게 유지되도록 보장할 수 있는가?

주요 결과

• 이 방법은 원래 CNN의 정확도를 유지하면서도 분류 결정의 계층적 분석을 가능하게 함으로써 충실한 해석을 달성한다.
• 이 해석은 전체 특징 공간에 걸쳐 모든 테스트 인스턴스에 적용되므로 전역적이다. 국소 영역에 국한되지 않는다.
• 시각적 다이어그램은 각 결정 노드에서의 진짜 클래스와 가설 클래스 활성화가 언제 분리 가능한지를 명확히 보여주며, 올바르게 분류된 인스턴스의 경우 4단계 결정 트리에서 분리 가능성이 확인된다.
• 'True1'로 분류된 올바른 인스턴스의 경우, 4번째 결정 노드에서 진짜 클래스(3)가 다른 모든 클래스와 완전히 분리되며 활성화 겹침이 없다.
• 이 방법은 오분류 원인을 특정할 수 있으며, 예를 들어 'Wrong1' 인스턴스에서 진짜 클래스와 가설 클래스 활성화 간의 지속적인 겹침이 분리 실패를 초래함을 보여준다.
• 이 방법은 확장 가능하며 텐서플로우 기반으로 구현되어 빅데이터 환경에서도 배포가 가능하며, LIME과 같은 이전 연구에서 지적된 확장성 격차를 메운다.