[논문 리뷰] TreeView: Peeking into Deep Neural Networks Via Feature-Space Partitioning

Jayaraman J. Thiagarajan, Bhavya Kailkhura외 2명|arXiv (Cornell University)|2016. 11. 22.

Explainable Artificial Intelligence (XAI)참고 문헌 5인용 수 45

한 줄 요약

TreeView는 정확도를 희생시키지 않은 채 깊이 신경망을 해석하기 위해 계층적 특성공간 분할 방법을 제안한다. 이는 군집화된 은닉 표현에서 유도된 메타특성과 의사결정나무 서rogate를 사용하여 순차적인 클래스 기각 과정을 시각화한다. 이 방법은 입력 특성과 클래스 예측 간의 해석 가능한 인과 기반 추론 경로를 연결함으로써 충실도가 높고 정확도가 높은 해석 가능성을 제공한다.

ABSTRACT

With the advent of highly predictive but opaque deep learning models, it has become more important than ever to understand and explain the predictions of such models. Existing approaches define interpretability as the inverse of complexity and achieve interpretability at the cost of accuracy. This introduces a risk of producing interpretable but misleading explanations. As humans, we are prone to engage in this kind of behavior \cite{mythos}. In this paper, we take a step in the direction of tackling the problem of interpretability without compromising the model accuracy. We propose to build a Treeview representation of the complex model via hierarchical partitioning of the feature space, which reveals the iterative rejection of unlikely class labels until the correct association is predicted.

연구 동기 및 목표

• 예측 성능를 저하시키지 않는 성숙하고 정확한 딥러닝 모델을 위한 해석 가능성 프레임워크의 부족을 해결하기 위해.
• 계층적 특성공간 분할을 통해 깊이 신경망의 순차적 예측 논리 구조를 시각화하는 방법을 개발하기 위해.
• 분석자가 잘못된 클래스 가설이 어떻게 체계적으로 기각되어 정확한 예측에 도달하는지 추적할 수 있도록 하기 위해.
• 은닉층의 군집화된 뉴런 활성화에서 유도된 메타특성을 통해 해석 가능하고 모델에 종속되지 않는 설명을 제공하기 위해.
• 복잡하고 고성능인 깊이 신경망과 인간이 이해할 수 있는 의사결정 경로 사이의 격차를 특성공간 추상화를 통해 메우기 위해.

제안 방법

• 이 방법은 깊이 신경망의 은닉 특성공간을 K개의 겹치는 요소로 분할하며, 각 요소는 동일한 활성화 패턴을 보이는 뉴런 군집을 나타낸다.
• 각 요소에 대해 활성화가 L개의 그룹으로 군집화되며, 각 샘플에 대해 모든 K개 요소의 군집 레이블을 집계하여 메타특성 벡터를 구성한다.
• 각 요소별로 입력 공간에서 군집 레이블을 예측할 수 있도록 랜덤 포레스트 분류기를 훈련시어, 입력 특성이 각 요소의 결정을 어떻게 이끄는지를 해석할 수 있도록 한다.
• 메타특성에 기반해 의사결정나무 서rogate를 훈련시어 전체 네트워크의 분류 행동을 모델링함으로써 추적 가능하고 계층적인 예측 경로를 제공한다.
• TreeView 시각화는 의사결정나무의 각 노드를 가설 기각 단계로 매핑하여, 각 요소 수준에서 어떤 클래스 레이블이 제거되는지 보여준다.
• 각 요소 전용 예측기에서 유도된 입력 특성 중요도 순위를 표시하여 사용자가 입력 데이터와 클래스 예측 간의 연결 고리를 정신적으로 맵핑하는 데 도움을 준다.

실험 결과

연구 질문

• RQ1 딥러닝 모델의 결정을 특성공간의 계층적 분할을 통해 정확도를 저하시키지 않고 해석할 수 있는가?
• RQ2 딥 뉴럴 네트워크의 실제 의사결정 과정을 반영하는 방식으로 잘못된 클래스 가설의 순차적 제거를 어떻게 시각화할 수 있는가?
• RQ3 군집화된 은닉 표현에서 유도된 메타특성이 예측 성능를 유지하면서도 해석 가능성을 향상시키는 데 얼마나 효과적인가?
• RQ4 요소별 입력 특성 중요도 순위는 입력 데이터와 최종 예측 간의 연결 고리를 이해하는 데 인간의 이해를 어떻게 향상시킬 수 있는가?
• RQ5 정확하게 분류된 예와 잘못 분류된 예의 TreeView 시각화에서 가설 기각 패턴은 어떻게 다를까?

주요 결과

• TreeView 프레임워크는 UCI Image Segmentation 데이터셋에서 96%와 94%의 분류 정확도를 기록하여, 해석 가능성과 성능 희생 간의 갈등이 필요하지 않음을 입증했다.
• 정확하게 분류된 예시에서 TreeView 시각화는 루트 요소가 빠르게 여러 클래스(예: Grass, Path, Sky, Window)를 기각하고, Cement를 제거하기 위해 추가로 세 개의 요소를 거친 것을 확인했다.
• 잘못 분류된 예시의 경우, 시각화 결과 네트워크가 Foliage와 진짜 레이블인 Window를 명확히 구분하지 못해 요소 수준에서 분류 능력이 떨어지는 것으로 나타났다.
• 요소 전용 예측기에서 높은 순위를 차지한 입력 특성(빨간색으로 표시됨)은 각 결정 단계를 이끄는 데이터 패턴에 대한 실질적인 통찰을 제공하여 분석자가 데이터-레이블 관계에 대한 정신적 모델을 검증할 수 있도록 했다.
• TreeView 프레임워크는 요소 간, 클래스 레이블 간, 입력 데이터 간의 전환을 성공적으로 수행하였으며, 네트워크의 내부 표현과의 관련성을 유지했다.
• 이 방법은 입력에서 출력으로의 결정 경로를 추적할 수 있게 하여, 모델이 특성공간 분할을 통해 가능한 레이블 집합을 점진적으로 좁혀나가는 방식을 드러냈다.