[논문 리뷰] Neural Activation Patterns (NAPs): Visual Explainability of Learned Concepts

Alex Bäuerle, Daniel Jönsson외 1명|arXiv (Cornell University)|2022. 06. 20.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 신경망의 레이어 수준 개념을 식별하기 위해 뉴런 전체의 활성도 분포를 군집화하는 방식으로, 높은 활성도 값에만 초점을 맞추는 것이 아니라, 전체 활성도 분포를 기반으로 하는 Neural Activation Patterns (NAPs)를 소개한다. 다중 뉴런 활성도 프로파일이 유사한 입력들을 군집화함으로써 NAPs는 기존의 유닛 수준 해석 기법들과 보완되는 복잡하고 분산된 개념을 드러내며, 다양한 아키텍처와 데이터셋에서 학습된 표현의 시각적 내부 분석을 가능하게 한다.

ABSTRACT

A key to deciphering the inner workings of neural networks is understanding what a model has learned. Promising methods for discovering learned features are based on analyzing activation values, whereby current techniques focus on analyzing high activation values to reveal interesting features on a neuron level. However, analyzing high activation values limits layer-level concept discovery. We present a method that instead takes into account the entire activation distribution. By extracting similar activation profiles within the high-dimensional activation space of a neural network layer, we find groups of inputs that are treated similarly. These input groups represent neural activation patterns (NAPs) and can be used to visualize and interpret learned layer concepts. We release a framework with which NAPs can be extracted from pre-trained models and provide a visual introspection tool that can be used to analyze NAPs. We tested our method with a variety of networks and show how it complements existing methods for analyzing neural network activation values.

연구 동기 및 목표

• 기존의 해석 기법들이 높은 활성도 값에만 초점을 맞추며 신경망 레이어 내 복잡하고 분산된 개념을 놓치는 한계를 해결한다.
• 개별 뉴런이 아닌, 뉴런 전체의 활성도 값 분포를 분석하여 레이어 수준의 개념을 식별하는 방법을 개발한다.
• 사전 훈련된 모델에서 NAPs를 추출하고 시각화하는 프레임워크를 통해 학습된 표현의 시각적이고 상호작용 가능한 해석을 가능하게 한다.
• 레이어 수준에서 일관되거나 다름을 보이는 개념 표현을 식별함으로써 다양한 아키텍처 간의 모델 비교를 가능하게 한다.
• 특징 시각화나 활성도 최대화와 같은 기존의 해석 도구들과는 달리, 다중 뉴런 간 상호작용과 분산 표현에 민감한 방법을 보완한다.

제안 방법

• 사전 훈련된 신경망을 통해 입력 집합을 통과시키고, 목표 레이어의 활성도 벡터를 추출한다.
• 각 뉴런별로 활성도 값을 정규화하여 군집화 과정에서 각 뉴런이 동일한 기여를 하도록 보장한다.
• 모든 뉴런의 활성도 프로파일 유사성 기반으로 입력을 군집화하기 위해 군집 알고리즘(예: k-means 또는 계층적 군집화)을 적용한다.
• 각 군집(NAP)을 해당 입력 이미지, 예측 결과 및 레이블과 연관지켜 시각적 해석을 가능하게 한다.
• 입력 이미지, 활성도 분포 및 예측 메타데이터를 포함한 NAP 탐색을 위한 상호작용 가능한 시각화 인터페이스를 개발한다.
• NAPs의 일반화 능력을 입증하기 위해 다양한 네트워크 아키텍처(예: ResNet50, Inception V3)와 데이터 유형(예: MNIST, ImageNet)에 대해 방법을 확장한다.

실험 결과

연구 질문

• RQ1 뉴런 전체의 활성도 분포를 군집화함으로써, 높은 활성도만을 고려하는 기존 방법이 놓치는 의미 있고 해석 가능한 레이어 수준의 개념을 드러낼 수 있는가?
• RQ2 NAPs는 다양한 신경망 아키텍처 간에 개념 일관성과 표현 다양성 측면에서 어떻게 비교될 수 있는가?
• RQ3 활성도 군집의 시각적 점검을 통해 NAPs는 훈련 데이터의 편향이나 성능 문제를 어느 정도 드러낼 수 있는가?
• RQ4 NAPs를 사용하여 다중 레이어에 걸쳐 계층적인 개념 학습(예: 간단한 개념에서 '황색 나비' 같은 복잡한 특징이 나타나는 것)을 식별하고 시각화할 수 있는가?
• RQ5 NAPs를 할당 방법과 통합함으로써 어떤 입력 특징이 특정 NAP을 이끄는지 더 잘 이해할 수 있는가?

주요 결과

• NAPs는 전체 활성도 프로파일을 군집화함으로써 레이어 수준의 개념을 성공적으로 식별하여, 최대 활성도나 특징 시각화 방법으로는 포착되지 않는 복잡하고 분산된 표현을 드러낸다.
• 이 방법은 다양한 아키텍처 간에 일관된 개념 발견 능력을 보이며, 예를 들어 Inception V3와 ResNet50 모두에서 '황색 나비'와 같은 고수준 개념에 대해 유사한 NAPs를 보여, 아키텍처 간 유사한 표현으로 수렴하는 경향을 확인한다.
• 유사한 활성도 패턴을 보이지만 잘못된 예측을 내는 입력들의 군집을 드러냄으로써, NAPs를 통해 모델의 약점(예: 편향 또는 일반화 부족)을 탐지할 수 있다.
• 레이어 수준의 개념 표현을 시각화하고 대조함으로써 NAPs 프레임워크는 아키텍처 간의 모델 비교를 지원하며, 개념 표현에서의 일치와 차이를 드러낸다.
• NAPs는 개별 뉴런을 분석할 때 보이지 않는 뉴런 간 상호의존성을 포괄함으로써, 기존의 해석 도구들과 보완적인 시각을 제공한다.
• 저자들은 사전 훈련된 모델에서 다양한 데이터셋과 네트워크 유형에 걸쳐 NAPs를 재현 가능하게 추출하고 분석할 수 있도록 공개 프레임워크와 상호작용 가능한 시각화 도구를 제공한다.