[논문 리뷰] Graph Structure of Neural Networks

Jiaxuan You, Leskovec, Jure외 2명|arXiv (Cornell University)|2020. 07. 13.

Advanced Graph Neural Networks인용 수 23

한 줄 요약

이 논문은 신경망 아키텍처를 그래프 상의 동적 메시지 전달 과정으로 표현하기 위해 관계 기반 그래프 프레임워크를 제안하며, 클러스터링 계수와 평균 경로 길이로 정의된 그래프 구조의 '선택의 지점'(sweet spot)에서 최적의 성능이 도출됨을 드러낸다. 연구는 최고 성능을 내는 모델들이 생물학적 신경망과 구조적으로 유사성을 띠며, 다양한 작업과 데이터셋에서 이러한 그래프 측정치에 대해 성능가 약간의 부드러운 함수로 나타남을 보여준다.

ABSTRACT

Neural networks are often represented as graphs of connections between neurons. However, despite their wide use, there is currently little understanding of the relationship between the graph structure of the neural network and its predictive performance. Here we systematically investigate how does the graph structure of neural networks affect their predictive performance. To this end, we develop a novel graph-based representation of neural networks called relational graph, where layers of neural network computation correspond to rounds of message exchange along the graph structure. Using this representation we show that: (1) a "sweet spot" of relational graphs leads to neural networks with significantly improved predictive performance; (2) neural network's performance is approximately a smooth function of the clustering coefficient and average path length of its relational graph; (3) our findings are consistent across many different tasks and datasets; (4) the sweet spot can be identified efficiently; (5) top-performing neural networks have graph structure surprisingly similar to those of real biological neural networks. Our work opens new directions for the design of neural architectures and the understanding on neural networks in general.

연구 동기 및 목표

• 신경망 아키텍처와 예측 성능 사이의 체계적 관계를 이해하기 위해.
• 방향성, 무사이클성, 층 기반 이분할 구조에 의해 제약을 받는 전통적인 계산 그래프 표현 방식의 한계를 극복하기 위해.
• 메시지 교환을 단순한 단방향 데이터 흐름을 넘어서 포괄하는 일반화 가능한 그래프 이론적 표현을 개발하기 위해.
• 다양한 작업과 데이터셋에서 높은 성능을 내는 신경망의 구조적 특징을 규명하기 위해.
• 그래프 측정치를 활용해 효율적으로 유망한 아키텍처를 식별함으로써 자동화된 신경망 아키텍처 탐색을 촉진하기 위해.

제안 방법

• 각 신경망 층이 무방향 그래프 상에서 메시지 교환 라운드에 해당하는 관계 기반 그래프 표현을 제안하며, 노드는 계산 단위를, 간선은 메시지 교환을 나타낸다.
• 메시지 함수와 집계 함수를 정의하여 각 라운드의 메시지 전달 및 정보 통합 방식을 모델링한다.
• 그래프 측정치인 클러스터링 계수와 평균 경로 길이를 관계 기반 그래프 구조의 핵심 기술적 특징으로 삼아 성능 분석을 수행한다.
• 구조적 다양성을 유지하면서 다양한 그래프 구조를 체계적으로 탐색할 수 있도록 융통성 있는 그래프 생성기(WS-flex)를 설계한다.
• 다양한 데이터셋과 작업에서 관계 기반 그래프를 아키텍처 사전 지식으로 사용해 모델을 훈련하고 평가함으로써 그래프 구조에 따른 성능 의존성에 대해 연구한다.
• 가중치 기반 관계 기반 그래프를 추출하여 훈련된 완전 연결 네트워크를 역설계함으로써 훈련 중 구조적 진화를 관찰한다.

실험 결과

연구 질문

• RQ1 신경망의 그래프 구조와 그 예측 성능 사이에 체계적인 관계가 존재하는가?
• RQ2 다양한 작업과 데이터셋에서 높은 성능을 내는 신경망의 구조적 특징은 무엇인가?
• RQ3 신경망의 예측 성능를 그 관계 기반 그래프의 위상 측정치에 대해 부드러운 함수로 근사할 수 있는가?
• RQ4 훈련된 신경망의 그래프 구조가 훈련 과정에서 최적의 구조로 진화하는가?
• RQ5 관계 기반 그래프 프레임워크는 일반 신경망 아키텍처와 그래프 신경망(GNNs)을 통합적으로 이해하는 데 기여하는가?

주요 결과

• 클러스터링 계수는 중간 수준이며 평균 경로 길이가 짧은 관계 기반 그래프의 '선택의 지점'에서 다양한 데이터셋과 작업에서 예측 성능이 크게 향상됨을 확인했다.
• 신경망의 성능는 그 관계 기반 그래프의 클러스터링 계수와 평균 경로 길이에 대해 약간의 부드러운 함수로 나타나며, 이는 그래프 구조만으로도 성능 예측이 가능함을 의미한다.
• 최고 성능을 내는 신경망, 예를 들어 ResNets와 MLPs는 실제 생물학적 신경망에서 관찰되는 구조와 놀랄 정도로 유사한 그래프를 나타낸다.
• 관계 기반 그래프 표현은 훈련된 완전 연결 네트워크가 그래프 공간에서 '선택의 지점' 영역으로 진화하는 것으로 드러났지만, 명시적으로 설계된 최적 그래프에 비해 성능 격차를 완전히 해소하지는 못했다.
• 관계 기반 그래프 프레임워크는 GNNs와 일반 신경망 아키텍처를 통합적으로 이해하는 데 기여하며, GNNs가 메시지 함수를 공유하고 그래프가 입력에 따라 달라지는 특수한 경우임을 보여준다.
• 이 연구는 최적 그래프 구조에 기반한 구조적 사전 지식이 랜덤 초기화에서 시작해도 기존의 완전 연결 아키텍처를 능가할 수 있음을 입증했다.