[논문 리뷰] Under the Hood of Neural Networks: Characterizing Learned Representations by Functional Neuron Populations and Network Ablations

Richard Meyes, Constantin Waubert de Puiseau외 2명|arXiv (Cornell University)|2020. 04. 02.

Adversarial Robustness in Machine Learning참고 문헌 44인용 수 13

한 줄 요약

이 논문은 신경망의 해석 가능성에 대해 기능적 뉴런 집단과 네트워크 분할 분석을 통해 학습된 표현이 어떻게 구조화되고 분포되어 있는지 조사한다. 연구 결과, 특정 클래스에 특화된 표현은 서로 다른 뉴런 집단에 국소화되어 있으며, 이는 분류 정확도에 미치는 영향의 강건성은 클래스와 특징 유형에 따라 다름을 확인하였다. 또한 뉴런 중요도를 완전히 설명하는 단일 지표는 존재하지 않음을 발견하였으며, 이는 신뢰성 있는 해석 가능성 및 전이 학습을 위해 다각도 분석이 필요하다는 점을 시사한다.

ABSTRACT

The need for more transparency of the decision-making processes in artificial neural networks steadily increases driven by their applications in safety critical and ethically challenging domains such as autonomous driving or medical diagnostics. We address today's lack of transparency of neural networks and shed light on the roles of single neurons and groups of neurons within the network fulfilling a learned task. Inspired by research in the field of neuroscience, we characterize the learned representations by activation patterns and network ablations, revealing functional neuron populations that a) act jointly in response to specific stimuli or b) have similar impact on the network's performance after being ablated. We find that neither a neuron's magnitude or selectivity of activation, nor its impact on network performance are sufficient stand-alone indicators for its importance for the overall task. We argue that such indicators are essential for future advances in transfer learning and modern neuroscience.

연구 동기 및 목표

• 의료 진단 및 자율 주행과 같은 안전이 중요한 애플리케이션에서 딥 신경망의 투명성을 향상시키기 위해.
• 개별 뉴런과 뉴런 집단이 학습된 표현과 네트워크 성능에 기여하는 방식에 대한 이해 부족을 해결하기 위해.
• 뉴런의 선택성, 활성화 크기 또는 분할 영향만으로도 분류 작업에서 기능적 중요도를 예측할 수 있는지 조사하기 위해.
• 인공 신경망의 조직 구조와 생물학적 신경 시스템 간의 유사성을 탐색하고, 특히 기능적 뉴런 집단의 구조적 특징에 초점을 맞추기 위해.
• 딥 네트워크 내 지식 표현의 구조적 원리를 규명하여 향후 전이 학습 및 신경과학 분야의 발전에 기여하기 위해.

제안 방법

• 다양한 이미지 분류 데이터셋에서 훈련된 세 개의 신경망(F-Net, M-Net, K-Net)을 활용하여 계층 간 표현의 진화를 연구하였다.
• 특정 입력에 대한 뉴런 활성화 패턴을 분석하여 자극에 공통적으로 반응하는 기능적 뉴런 집단을 식별하였다.
• 개별 뉴런을 제거하는 체계적 네트워크 분할을 수행하고, 각 클래스의 분류 정확도에 미치는 영향을 측정하였다.
• UMAP 임bedding를 사용하여 계층 간 활성화 공간의 분리 가능성을 시각화하여 네트워크 깊이에 따른 클래스 간 구분도 변화를 추적하였다.
• 특정 클래스에 가장 반응하는 뉴런 수를 세어 뉴런 선택성을 정량화하고, 이를 UMAP 기반의 클래스 분리도(NH-score)와 상관관계 분석하였다.
• 피어슨 상관계수를 사용하여 활성화 선택성, 분할 영향, 임베딩 공간 내 클래스 분리도 간의 관계를 평가하였다.

실험 결과

연구 질문

• RQ1 훈련된 신경망에서 특정 클래스 표현은 계층과 뉴런 집단에 어떻게 분포되어 있는가?
• RQ2 뉴런 활성화 크기와 선택성이 분류 작업에서 뉴런의 기능적 중요도를 예측하는 데 얼마나 유의미한가?
• RQ3 개별 뉴런의 분할은 네트워크의 활성화 공간에서 클래스 간 분리도에 어떤 영향을 미치는가?
• RQ4 활성화 공간 내 클래스 분리도 수준과 관련하여 특정 클래스에 선택적인 뉴런의 수는 어떤 관계가 있는가?
• RQ5 특정 입력에 대해 함께 반응하는 기능적 뉴런 집단을 식별할 수 있으며, 이러한 집단의 크기는 클래스에 따라 어떻게 달라지는가?

주요 결과

• 특정 클래스 표현은 네트워크의 깊은 계층으로 갈수록 활성화 공간에서 더욱 명확해지고 더 잘 분리됨을 확인하였다.
• 초기 계층의 네트워크 분할은 활성화 공간의 분리도에 거의 영향을 주지 않았지만, 후기 계층의 분할은 분리도를 크게 떨어뜨려 클래스 겹침과 오분류를 유발하였다.
• F-Net에서 특정 클래스에 선택적인 뉴런 수와 클래스 분리도(NH-score) 사이에 강한 양의 상관관계(r = 0.61, p = 0.06)를 발견하였으나, M-Net 및 K-Net에서는 유의미한 상관관계를 보이지 않았다.
• F-Net에서 분할 영향이 가장 큰 뉴런과 NH-score 사이에 유의미한 양의 상관관계(r = 0.68, p = 0.03)를 관찰하여, 성능에 가장 중요한 뉴런들이 더 나은 클래스 분리도와 연관되어 있음을 시사하였다.
• 활성화 크기, 선택성, 또는 분할 영향과 같은 단일 지표만으로는 뉴런의 기능적 중요도를 신뢰성 있게 예측할 수 없음을 확인하였으며, 이는 해석 가능성의 완전한 이해를 위해 다중 지표 분석이 필요하다는 점을 시사한다.
• 기능적 뉴런 집단의 크기는 맡는 기능에 따라 크게 달라지며, 이는 네트워크 용량 요구사항이 특정 클래스의 특성에 따라 달라질 수 있음을 시사한다.