[논문 리뷰] Detecting Modularity in Deep Neural Networks.

Shlomi Hod, Stephen Casper외 4명|arXiv (Cornell University)|2021. 10. 17.

Neural Networks and Applications참고 문헌 35인용 수 5

한 줄 요약

이 논문은 가중치 및 활성화 기반 그래프 표현의 통계적 분석을 통해 뉴런 그룹의 중요도와 일관성을 정량화함으로써 딥 네ural 네트워크 내 모듈성(m)을 탐지하기 위한 프레임워크를 제안한다. 이러한 그래프의 스펙트럴 클러스터링은 기능적으로 중요한 동시에 입력 특징에 대해 일관되게 반응하는 뉴런 분할을 드러내며, 런타임 데이터 없이도 내재된 모듈성이 존재함을 보여준다.

ABSTRACT

A neural network is modular to the extent that parts of its computational graph (i.e. structure) can be represented as performing some comprehensible subtask relevant to the overall task (i.e. functionality). Are modern deep neural networks modular? How can this be quantified? In this paper, we consider the problem of assessing the modularity exhibited by a partitioning of a network's neurons. We propose two proxies for this: importance, which reflects how crucial sets of neurons are to network performance; and coherence, which reflects how consistently their neurons associate with features of the inputs. To measure these proxies, we develop a set of statistical methods based on techniques conventionally used to interpret individual neurons. We apply the proxies to partitionings generated by spectrally clustering a graph representation of the network's neurons with edges determined either by network weights or correlations of activations. We show that these partitionings, even ones based only on weights (i.e. strictly from non-runtime analysis), reveal groups of neurons that are important and coherent. These results suggest that graph-based partitioning can reveal modularity and help us understand how deep neural networks function.

연구 동기 및 목표

• 현대의 딥 네럴 네트워크가 내부 구조에서 모듈성을 보이는지 여부를 규명하는 것.
• 입력 특징에 대해 뉴런 그룹이 얼마나 중요하고 일관되게 반응하는지 평가함으로써 모듈성을 정량화하는 것.
• 런타임 데이터 없이도 신경망 아키텍처 내 의미 있는 하위 작업을 식별할 수 있는 비런타임 분석 방법을 개발하는 것.
• 가중치 또는 활성화 상관관계를 사용한 뉴런의 그래프 기반 분할이 기능적으로 일관되고 중요한 그룹을 드러내는지 평가하는 것.

제안 방법

• 네트워크 가중치 또는 활성화 상관관계에 의해 정의된 간선을 가진 뉴런의 계산 그래프를 구축한다.
• 구조적 유사성에 기반해 그래프를 뉴런 그룹으로 분할하기 위해 스펙트럴 클러스터링을 적용한다.
• 개별 뉴런 해석 방법에서 유도된 통계 기법을 활용해 각 뉴런 그룹의 중요도를 측정한다.
• 특정 입력 특징에 대해 뉴런 그룹 내 뉴런들이 얼마나 일관되게 반응하는지 평가함으로써 일관성(coherence)을 측정한다.
• 런타임 분석 없이(오직 가중치만 사용하여) 모듈성을 평가함으로써 추론 데이터 없이도 해석이 가능하도록 한다.
• 중요도 및 일관성 메트릭을 조합하여 이해하기 쉬운 하위 작업을 수행하는 뉴런 그룹을 식별한다.

실험 결과

연구 질문

• RQ1 현대의 딥 네럴 네트워크가 내부 구조에서 어느 정도 모듈성을 보이는가?
• RQ2 네트워크 가중치와 같은 비런타임 정보만으로도 모듈성을 탐지할 수 있는가?
• RQ3 그래프 분할을 통해 식별된 뉴런 그룹은 기능적으로 일관되고 중요한가?
• RQ4 가중치 기반 및 활성화 기반 그래프 표현 중 어느 것이 더 효과적으로 모듈성을 드러내는가?

주요 결과

• 가중치 기반 그래프의 스펙트럴 클러스터링을 통해 식별된 뉴런 그룹은 전체 네트워크 성능에 있어 상당한 중요도를 가지며.
• 동일한 그룹은 다양한 샘플에서 특정 입력 특징과 일관되게 연관되어 있음을 보여주는 높은 일관성을 나타낸다.
• 활성화 데이터 없이도 가중치 기반 분할이 기능적으로 의미 있고 일관된 뉴런 클러스터를 드러낸다.
• 중요도와 일관성 메트릭의 조합은 이해하기 쉽고 전체 네트워크 목표와 관련된 하위 작업을 식별한다.