[논문 리뷰] Deep Neural Networks as Complex Networks

Emanuele La Malfa, Gabriele La Malfa외 3명|arXiv (Cornell University)|2022. 09. 12.

Neural dynamics and brain function인용 수 5

한 줄 요약

이 논문은 복소 네트워크 이론(CNT)을 사용하여 딥 네ural 네트워크(DNNs)를 방향성 가중 복소 네트워크로 모델링하는 새로운 프레임워크를 제안한다. 이는 가중치, 뉴런, 층 수준에서의 분석을 가능하게 하며, 저자들은 CNT 지표가 다양한 아키텍처, 활성화 함수, 성능 수준 간의 차이를 효과적으로 식별할 수 있음을 입증한다. 특히 훈련된 네트워크와 미훈련 네트워크 간의 성능 격차를 드러내며, 입력-출력 분석을 넘어서 물리적으로 타당한 보완적 접근법을 제공한다.

ABSTRACT

Deep Neural Networks are, from a physical perspective, graphs whose `links` and `vertices` iteratively process data and solve tasks sub-optimally. We use Complex Network Theory (CNT) to represents Deep Neural Networks (DNNs) as directed weighted graphs: within this framework, we introduce metrics to study DNNs as dynamical systems, with a granularity that spans from weights to layers, including neurons. CNT discriminates networks that differ in the number of parameters and neurons, the type of hidden layers and activations, and the objective task. We further show that our metrics discriminate low vs. high performing networks. CNT is a comprehensive method to reason about DNNs and a complementary approach to explain a model's behavior that is physically grounded to networks theory and goes beyond the well-studied input-output relation.

연구 동기 및 목표

• 딥 네럴 네트워크를 복소 네트워크 이론(CNT)을 사용하여 방향성 가중 그래프로 공식화하고, 다중 수준 분석을 위한 프레임워크를 개발하는 것.
• DNNs의 가중치, 뉴런, 층 수준에서의 동적 행동을 포괄하는 CNT 기반 지표를 식별하는 것.
• 이러한 지표가 다양한 네트워크 아키텍처, 활성화 함수, 성능 수준 간의 차이를 식별할 수 있는지 평가하는 것.
• 기존의 입력-출력 분석을 넘어서 물리적으로 타당한 보완적 방법을 통해 DNN의 행동을 해석할 수 있도록 하는 것.

제안 방법

• 저자들은 DNN 구성요소를 CNT 구조로 매핑: 가중치를 링크로, 뉴런을 노드로, 층을 구조적 그룹으로 간주하여 방향성 가중 그래프를 구성한다.
• DNN에 특화된 새로운 CNT 지표인 뉴런 강도, 뉴런 활성도, 노드 입력 강도를 정의하고 계산한다. 이는 다양한 분석 정도에 적합하도록 설계되었다.
• 이 프레임워크는 MNIST 및 CIFAR10 데이터셋에서 다양한 아키텍처, 깊이, 활성화 함수, 훈련 방식을 가진 완전 연결(FC) 및 오토에인코더(AE) 네트워크 집단에 적용된다.
• 훈련 스���샷을 기반으로 지표를 평가하여 동적 행동을 캡처하고, 다양한 네트워크 구성과 성능 수준 간의 비교를 가능하게 한다.
• 이 접근법은 이미지 분류 및 신호 복원 작업에서 광범위한 실험적 평가를 통해 검증된다.
• 이 연구의 범위를 초월해 CNT 지표의 복제 및 확장이 가능하도록 오픈소스이며 확장 가능한 패키지가 공개된다.

실험 결과

연구 질문

• RQ1 동일한 작업에서 완전 연결 네트워크와 오토에인코더 간의 다른 아키텍처를 가진 DNNs 간에 복소 네트워크 이론 지표가 효과적으로 구분할 수 있는가?
• RQ2 얕은 네트워크와 깊은 네트워크에서 다양한 활성화 함수(예: ReLU, sigmoid, 선형)에 따라 CNT 지표는 어떻게 변화하는가?
• RQ3 정확도가 낮을지라도, 훈련된 네트워크와 미훈련 네트워크 간의 성능 차이를 CNT 지표가 감지할 수 있는가?
• RQ4 이미지 분류(MNIST)와 신호 복원(CIFAR10) 간의 작업별 패턴이 CNT 지표에 어떻게 반영되는가?
• RQ5 CNT 지표는 다양한 네트워크 깊이와 파rameter 수에 대해 어느 정도 일반화될 수 있는가?

주요 결과

• CNT 지표는 다양한 활성화 함수를 효과적으로 식별한다: ReLU 네트워크는 뉴런 활성도가 약 0 근처에 집중된 반면, sigmoid 네트워크는 초기 층에서 이중 첨두 분포를 보이며 더 깊은 층에서는 균일한 분포를 나타낸다.
• 뉴런 강도 분포의 형태는 활성화 함수에 따라 크게 달라진다. 선형 및 ReLU 네트워크는 극단치를 포함한 넓은 지원을 보이지만, sigmoid 네트워크는 훨씬 더 집중된 지원을 보이며, 크기로 약 2/3 정도 작다.
• MNIST 및 CIFAR10 모두에서 더 깊은 네트워크는 해당 층 위치에서 얕은 네트워크와 유사한 CNT 지표 추세를 보이며, 깊이에 걸쳐 구조적 일관성이 있음을 시사한다.
• 훈련된 네트워크와 미훈련 네트워크 간의 성능 격차가 드러났다: 훈련된 네트워크는 더 안정적이고 구조적인 CNT 지표 분포를 보이며, 특히 모든 아키텍처에서 층 6에서 노드 입력 강도가 병목 현상을 보인다.
• CIFAR10에서 완전 연결 네트워크의 경우, CNT 지표는 소형(28K 파라미터, 38% 정확도), 중형(450K 파라미터, 49% 정확도), 대형(7M 파라미터, 54% 정확도) 아키텍처 간에 뚜렷한 패턴을 드러내며, 노드 입력 강도가 층 6에서 뚜렷한 감소를 보인다.
• 이 프레임워크는 작업별 역학을 성공적으로 식별한다: 이미지 분류 작업에서는 특징 계층을 반영하고, 신호 복원 작업에서는 오토에인코더 전용 신호 전파 패턴을 포착한다.