[논문 리뷰] Structure and Performance of Fully Connected Neural Networks: Emerging Complex Network Properties

Leonardo Scabini, Odemir Martinez Bruno|arXiv (Cornell University)|2021. 07. 29.

Advanced Memory and Neural Computing인용 수 8

한 줄 요약

이 논문은 완전 연결 신경망(FNN)을 분석하기 위해 복합 네트워크(CN) 프레임워크를 제안한다. 각 네트워크를 뉴런과 시냅스로 구성된 가중치가 부여된 무방향 그래프로 모델링하며, 중심성 측정치를 계산하고 Bag-of-Neurons(BoN) 접근법을 도입하여 성능과 관련된 위상적 특징을 지닌 여섯 가지의 뉴런 유형을 식별한다. 이는 다양한 시각 벤치마크에서 분류 정확도와 강하게 상관관계가 있음을 보여준다.

ABSTRACT

Understanding the behavior of Artificial Neural Networks is one of the main topics in the field recently, as black-box approaches have become usual since the widespread of deep learning. Such high-dimensional models may manifest instabilities and weird properties that resemble complex systems. Therefore, we propose Complex Network (CN) techniques to analyze the structure and performance of fully connected neural networks. For that, we build a dataset with 4 thousand models and their respective CN properties. They are employed in a supervised classification setup considering four vision benchmarks. Each neural network is approached as a weighted and undirected graph of neurons and synapses, and centrality measures are computed after training. Results show that these measures are highly related to the network classification performance. We also propose the concept of Bag-Of-Neurons (BoN), a CN-based approach for finding topological signatures linking similar neurons. Results suggest that six neuronal types emerge in such networks, independently of the target domain, and are distributed differently according to classification accuracy. We also tackle specific CN properties related to performance, such as higher subgraph centrality on lower-performing models. Our findings suggest that CN properties play a critical role in the performance of fully connected neural networks, with topological patterns emerging independently on a wide range of models.

연구 동기 및 목표

• 복합 네트워크(CN) 기법을 사용하여 완전 연결 신경망의 구조적 특성과 성능 간의 관계를 탐구한다.
• 다양한 컴퓨터 비전 벤치마크에서 모델 정확도와 관련된 뉴런의 위상적 특징을 규명한다.
• 위상 중심성 패턴에 기반해 뉴런 유형을 탐지하는 Bag-of-Neurons(BoN) 프레임워크를 개발한다.
• CN 특성이 목표 도메인과 무관하게 독립적으로 발생하며 네트워크 성능에 영향을 미치는지 확인한다.
• 위상 분석을 통해 설명 가능한 AI 및 향상된 신경망 설계를 위한 기반을 마련한다.

제안 방법

• 각 완전 연결 신경망은 뉴런을 노드로, 시냅스를 간선으로 하는 가중치가 부여된 무방향 그래프로 모델링된다.
• 훈련 후 각 히든 뉴런에 대해 여덟 가지 중심성 측정치(예: 강도, 부분그래프 중심성, 이분할 클러스터링)를 계산한다.
• 각 뉴런당 가장 정보가 많은 세 가지 중심성 측정치를 연결하여 Bag-of-Neurons(BoN) 기술자를 생성한다.
• MNIST, Fashion-MNIST, CIFAR10, KTH-TIPS에서 훈련된 4,000개의 모델을 대상으로 BoN 기술자들을 클러스터링하여 뉴런 유형을 식별한다.
• 다양한 벤치마크 간 뉴런 유형 분포 유사성을 측정하기 위해 젠슨-쇼난 발산(Jensen-Shannon Divergence, JSD)을 사용한다.
• 분류 정확도와 중심성 측정치를 비교하여 성능 상관관계를 평가하며, 상위 및 하위 100개 모델 간 선형 분리 가능성도 분석한다.

실험 결과

연구 질문

• RQ1 완전 연결 신경망의 복합 네트워크 특성이 분류 성능과 상관관계가 있는가?
• RQ2 다양한 시각 작업 간 일관된 위상적 특징을 지닌 별도의 뉴런 유형을 식별할 수 있는가?
• RQ3 뉴런 유형 분포가 모델 성능에 따라 얼마나 다를지, 그리고 다양한 벤치마크 간 일관성이 있는가?
• RQ4 어느 중심성 측정치가 네트워크 정확도를 가장 잘 예측할 수 있으며, 이를 사용해 고성능 및 저성능 모델을 선형으로 분리할 수 있는가?
• RQ5 목표 작업과 무관하게 안정적이고 교차 도메인의 위상적 조직이 뉴런에 자주 나타나는가?

주요 결과

• 강도, 이분할 클러스터링, 부분그래프 중심성의 세 가지 중심성 측정치가 네트워크 성능 예측에 가장 관련성이 높은 정보를 담고 있다.
• 높은 부분그래프 중심성과 클러스터링 계수를 가진 뉴런은 저성능 모델에서 유의미하게 더 흔하다.
• Bag-of-Neurons(BoN) 접근법은 다양한 벤치마크와 모델 아키텍처에서 일관되게 분포하는 여섯 가지의 뚜렷한 뉴런 유형을 드러낸다.
• 높은 표준편차에도 불구하고, 서로 다른 벤치마크에서 유도된 뉴런 유형 분포 간 평균 젠슨-쇼난 발산(Jensen-Shannon Divergence, JSD)은 낮게 유지되며(~0.21–0.33) 이는 다양한 작업 간 강한 위상 유사성을 시사한다.
• 히든 레이어 전체에 걸쳐 단일 중심성 측정치(예: 부분그래프 중심성)의 평균을 취하면 상위 및 최악의 100개 모델을 높은 정확도로 선형 분리할 수 있다.
• 본 연구는 복합 네트워크 특성이 무작위가 아니며 체계적으로 성능과 연결되어 있음을 입증하며, 이는 네트워크 동역학에서 핵심적인 역할을 할 가능성을 시사한다.