[논문 리뷰] Summit: Scaling Deep Learning Interpretability by Visualizing Activation and Attribution Summarizations

Fred Hohman, Haekyu Park외 2명|arXiv (Cornell University)|2019. 04. 03.

Explainable Artificial Intelligence (XAI)인용 수 8

한 줄 요약

Summit는 이미지넷의 전체 이미지 클래스에 걸쳐 활성화 및 기여도 요약을 시각화함으로써 딥러닝 해석 가능성의 스케일링을 위한 상호작용적 웹 기반 시스템을 도입한다. 활성화 집계와 뉴런 영향력 집계를 사용하여 기여도 그래프를 생성함으로써 숨겨진 뉴런 관계(예: '손에 물고기를 쥐고 있는 것'이라는 특징이 'tench' 예측에 영향을 미침)를 드러내어 InceptionV1과 같은 대규모 모델에 대한 확장성 있고 인간 중심의 분석을 가능하게 한다.

ABSTRACT

Deep learning is increasingly used in decision-making tasks. However, understanding how neural networks produce final predictions remains a fundamental challenge. Existing work on interpreting neural network predictions for images often focuses on explaining predictions for single images or neurons. As predictions are often computed from millions of weights that are optimized over millions of images, such explanations can easily miss a bigger picture. We present Summit, an interactive system that scalably and systematically summarizes and visualizes what features a deep learning model has learned and how those features interact to make predictions. Summit introduces two new scalable summarization techniques: (1) activation aggregation discovers important neurons, and (2) neuron-influence aggregation identifies relationships among such neurons. Summit combines these techniques to create the novel attribution graph that reveals and summarizes crucial neuron associations and substructures that contribute to a model's outcomes. Summit scales to large data, such as the ImageNet dataset with 1.2M images, and leverages neural network feature visualization and dataset examples to help users distill large, complex neural network models into compact, interactive visualizations. We present neural network exploration scenarios where Summit helps us discover multiple surprising insights into a prevalent, large-scale image classifier's learned representations and informs future neural network architecture design. The Summit visualization runs in modern web browsers and is open-sourced.

연구 동기 및 목표

• 단일 이미지나 단일 뉴런 설명을 넘어서 체계적이고 클래스 수준의 이해를 통해 대규모 딥러닝 모델을 해석하는 데 도전하는 것.
• 모델 예측에 영향을 주는 비명백한 특징 연관성을 가진 숨겨진 비명백한 특징 연관성을 발견할 수 있도록 연구자들을 지원하는 것.
• ImageNet(120만 장의 이미지)과 같은 거대한 데이터셋에서 효율적으로 작동하는 확장 가능한 요약 기법을 개발하는 것.
• 복잡한 모델 표현을 압축하고 해석 가능한 그래프로 단순화하여 인간의 통찰을 이끌어내는 상호작용적 시각화 시스템을 구축하는 것.
• 특징과 뉴런 간의 상호작용을 전체 클래스 수준에서 폭 드러내어 모델 디버깅, 아키텍처 개선 및 신뢰 구축을 지원하는 것.

제안 방법

• 클래스 내 모든 이미지의 평균 활성도를 계산하여 중요한 뉴런을 식별하기 위해 활성화 집계를 적용하고, 고차원 특징 맵을 요약하기 위해 차원 축소 기법을 사용한다.
• 각 뉴런이 다른 뉴런의 예측에 미치는 영향을 정량화하기 위해 뉴런 영향력 집계를 적용하여 뉴런 간 관계를 그래프로 모델링한다.
• 정점이 고도로 활성화된 뉴런(예: 'scales', 'fish')을 나타내고, 간선이 영향력 있는 연결 관계(예: 'scales' → 'hands holding fish')를 나타내는 기여도 그래프를 구성한다.
• 집계된 영향력 그래프에 개인화된 PageRank를 적용하여 기여도 그래프 내 핵심 서브구조와 연관성을 우선순위 정렬하고 강조 표시한다.
• 추상적인 뉴런 활성도를 실제 세계 의미론에 기반시키기 위해 신경망 특징 시각화와 실제 데이터셋 예시를 시각화에 통합한다.
• 클래스 수준 표현을 상호작용적으로 탐색할 수 있도록 브라우저 기반 인터페이스를 설계하며, 검색, 정렬, 클래스 간 비교 기능을 포함한다.

실험 결과

연구 질문

• RQ1 단일 이미지나 뉴런에 집중하기보다는, 전체 클래스의 내부 표현을 체계적으로 요약하고 시각화하는 방법은 무엇인가?
• RQ2 수백만 장의 이미지와 수천만 개의 파rameter를 포함한 환경에서 중요한 뉴런과 그 상호의존성을 식별할 수 있는 확장 가능한 기법은 무엇인가?
• RQ3 사람과 관련된 특징이 동물 분류에 영향을 주는 비명백한 고수준 특징 연관성(예: 'person-related' 특징이 동물 분류에 영향을 미침)을 드러내는 것이 가능한가?
• RQ4 기여도 그래프가 인간의 해석을 지원할 수 있도록 뉴런 간의 계층적이고 구조적인 관계를 효과적으로 표현할 수 있는가?
• RQ5 이러한 시각화는 간접적이거나 비의도적인 특징에 의존하는 등 놀라운 또는 직관에 어긋나는 모델 행동을 얼마나 잘 드러낼 수 있는가?

주요 결과

• Summit는 InceptionV1 모델이 'tench' 예측을 내릴 때 중간 단계의 'hands holding fish' 특징에 의존하고 있으며, 이 특징 자체가 'scales', 'person', 'fish' 등의 저수준 특징에 의해 영향을 받는다는 것을 성공적으로 드러냈다.
• 기여도 그래프는 비직관적인 의존성 체인을 드러냈다: 최종 'tench' 예측은 직접적으로 'fish'나 'scales'에 기반하는 것이 아니라 사람과 관련된 특징에 의해 영향을 받는 것으로 나타나, 잠재적인 비의도적인 상관관계를 시사한다.
• 시스템은 ImageNet(120만 장의 이미지 포함)과 같은 거대한 데이터셋으로도 스케일링 가능하여 성능이나 상호작용성에 손상 없이 클래스 수준의 분석을 가능하게 한다.
• 활성화 집계와 뉴런 영향력 집계는 InceptionV1과 같은 깊고 복잡한 아키텍처에서도 선명한 뉴런과 그 관계를 효과적으로 식별한다.
• 시각화 기법을 통해 연구자들은 학습된 표현에 대한 놀라운 통찰을 여러 건 발견했으며, 이는 클래스 간 공통의 서브구조와 예상치 못한 특징 의존성 등을 포함한다.
• 오픈소스이자 브라우저 기반인 Summit 시스템은 상호작용적 탐색을 지원하며, 실제 ML 연구자들과 전문가들의 환경에서 검증된 바가 있다.