[논문 리뷰] Neural Networks are Surprisingly Modular

Daniel Filan, Shlomi Hod외 3명|arXiv (Cornell University)|2020. 03. 10.

Neural Networks and Applications인용 수 10

한 줄 요약

이 논문은 다층 퍼셉트론(MLPs)에서의 모듈성에 대한 그래프 클러스터링 기반 측정법을 제안하며, 훈련된 및 잘라낸 MLP가 무작위 네트워크보다 유의미하게 높은 모듈성을 보임을 보여준다. 특히 드롭아웃을 사용해 훈련한 경우 더욱 두드러진다. 이러한 결과는 신경망 가중치가 해석 가능성을 높이는 구조적이고 모듈화된 조직을 형성함을 시사한다.

ABSTRACT

The learned weights of a neural network are often considered devoid of scrutable internal structure. To discern structure in these weights, we introduce a measurable notion of modularity for multi-layer perceptrons (MLPs), and investigate the modular structure of MLPs trained on datasets of small images. Our notion of modularity comes from the graph clustering literature: a module is a set of neurons with strong internal connectivity but weak external connectivity. We find that training and weight pruning produces MLPs that are more modular than randomly initialized ones, and often significantly more modular than random MLPs with the same (sparse) distribution of weights. Interestingly, they are much more modular when trained with dropout. We also present exploratory analyses of the importance of different modules for performance and how modules depend on each other. Understanding the modular structure of neural networks, when such structure exists, will hopefully render their inner workings more interpretable to engineers. Note that this paper has been superceded by Clusterability in Neural Networks, arXiv:2103.03386!

연구 동기 및 목표

• 신경망 가중치의 내부 구조적 조직을 반영하는 측정 가능한 모듈성 개념을 개발하기 위해.
• 훈련된 신경망이 학습된 가중치에서 모듈화된 조직을 보이는지 조사하기 위해.
• 유사한 희박성 조건을 가진 무작위로 초기화된 네트워크와 무작위로 가중치가 설정된 네트워크와 비교하여 훈련된 MLP의 모듈성을 비교하기 위해.
• 드롭아웃과 같은 훈련 기법이 모듈성의 발생에 미치는 영향을 탐색하기 위해.
• 식별된 모듈의 기능적 중요도와 상호의존성에 대해 분석하여 네트워크 성능에 기여하는 바를 파악하기 위해.

제안 방법

• 그래프 클러스터링을 이용한 모듈성 정의: 뉴런을 노드로, 뉴런 간 가중치를 간선으로 간주.
• 모듈성 측정은 뉴런 그룹 내부의 연결 강도와 외부 연결 강도 간의 차이로 정의.
• 소규모 이미지 데이터셋에서 훈련된 MLP에 이 측정법을 적용하여 구조적 조직도를 평가.
• 다양한 네트워크 구성 간의 모듈성 비교: 무작위로 초기화된, 훈련된, 잘라낸, 동일한 희박성 조건을 가진 무작위로 가중치가 설정된 MLP.
• 드롭아웃을 사용해 훈련함으로써 모듈성 발생에 미치는 영향을 평가.
• 모듈의 중요도와 상호의존성에 대한 탐색적 분석을 위해 제거 실험과 연결성 분석을 수행.

실험 결과

연구 질문

• RQ1 훈련된 신경망은 학습된 가중치에서 구조적이고 모듈화된 조직을 형성하는가?
• RQ2 유사한 희박성 조건을 가진 무작위로 초기화된 또는 무작위로 가중치가 설정된 네트워크와 비교해 훈련된 MLP의 모듈성은 어떻게 다른가?
• RQ3 훈련 중 드롭아웃을 사용할 경우 신경망 가중치의 모듈성이 향상되는가?
• RQ4 어떤 모듈이 네트워크 성능에 가장 기여하는가? 그리고 서로 어떻게 의존하는가?
• RQ5 신경망의 모듈화된 구조를 활용해 내부 작동 원리를 해석 가능하게 만들 수 있는가?

주요 결과

• 훈련된 및 잘라낸 MLP는 무작위로 초기화된 네트워크보다 유의미하게 높은 모듈성을 보인다.
• 유사한 희박성 분포를 가진 무작위 MLP와 비교해 훈련된 MLP의 모듈성이 높으며, 이는 구조적 학습을 의미한다.
• 드롭아웃을 사용해 훈련한 경우, 드롭아웃 없이 훈련한 경우보다 유의미하게 높은 모듈성을 보인다.
• 네트워크에서 식별된 모듈은 중요도 수준이 다양하며, 일부 모듈이 성능에 더 큰 기여를 한다.
• 모듈 간 상호의존성이 관찰되어, 성능이 서로 다른 기능 단위 간의 협동적 상호작용에 기반함을 시사한다.
• 결과적으로 신경망 가중치는 무작위로 구성된 것이 아니라, 해석 가능하고 측정 가능한 내부 조직을 형성함을 시사한다.