[논문 리뷰] Understanding the Representation Power of Graph Neural Networks in Learning Graph Topology

Nima Dehmamy, Albert-Ĺaszló Barabási외 1명|arXiv (Cornell University)|2019. 07. 11.

Advanced Graph Neural Networks참고 문헌 39인용 수 43

한 줄 요약

본 연구는 GCN이 그래프의 토폴로지를 인코딩하는 그래프 모멘트를 얼마나 잘 학습하는지 분석하고, 표준 GCN의 한계를 보여주며, 다양한 전달 규칙을 갖춘 모듈식 잔차 GCN 설계를 제안하여 표현력을 향상시키고 서로 다른 생성기에서 생성된 작은 그래프를 구분 가능하게 한다.

ABSTRACT

To deepen our understanding of graph neural networks, we investigate the representation power of Graph Convolutional Networks (GCN) through the looking glass of graph moments, a key property of graph topology encoding path of various lengths. We find that GCNs are rather restrictive in learning graph moments. Without careful design, GCNs can fail miserably even with multiple layers and nonlinear activation functions. We analyze theoretically the expressiveness of GCNs, concluding a modular GCN design, using different propagation rules with residual connections could significantly improve the performance of GCN. We demonstrate that such modular designs are capable of distinguishing graphs from different graph generation models for surprisingly small graphs, a notoriously difficult problem in network science. Our investigation suggests that, depth is much more influential than width, with deeper GCNs being more capable of learning higher order graph moments. Additionally, combining GCN modules with different propagation rules is critical to the representation power of GCNs.

연구 동기 및 목표

• GCN이 그래프 토폴로지를 특징짓는 그래프 모멘트를 얼마나 잘 학습하는지 조사한다.
• GCN에서 표현력의 깊이(depth)와 너비(width) 간 의존성을 이론적으로 분석한다.
• 순열 불변성을 유지하면서 표현력을 높이기 위해 서로 다른 전파 규칙을 결합한 모듈식 GCN 설계를 개발한다.
• 잔차 연결을 갖는 모듈식 GCN이 서로 다른 모델로 생성된 그래프를 작은 그래프에서 구분할 수 있음을 입증한다.
• GCN을 이용한 그래프 토폴로지 학습을 향상시키기 위한 아키텍처 설계에 대한 실용적 지침을 제공한다.

제안 방법

• 그래프 모멘트를 정의하고 순열 불변성이 학습 가능한 모멘트를 어떻게 제약하는지 보인다.
• 특수한 설계 없이 1층 및 다층 GCN이 고차 그래프 모멘트를 학습하는 데 한계를 이론적으로 증명한다.
• 그래프 모멘트의 다항식을 학습하기 위해 세 가지 전파 규칙과 잔차 연결을 갖춘 모듈식 GCN 설계를 도입한다.
• 작은 그래프에서 Barabási–Albert, Erdős–Rényi, 구성 모델 그래프를 구분하는 작업에 대해 모듈식 GCN을 평가한다.
• 깊이와 너비의 효과를 비교하고 모듈 조합에 대한 소거 연구를 수행한다.

실험 결과

연구 질문

• RQ1 순열 불변성 하에서 GCN은 고차 그래프 모멘트를 학습할 수 있는가?
• RQ2 깊이와 너비가 그래프 토폴로지 모멘트를 포착하는 GCN의 능력에 어떤 영향을 미치는가?
• RQ3 여러 전파 규칙과 잔차 연결을 갖춘 모듈식 설계가 표준 GCN보다 표현력을 향상시키는가?
• RQ4 모듈식 GCN이 작은 그래프에서 그래프 생성 모델을 어느 정도 구분할 수 있는가?

주요 결과

• 완전 연결 신경망은 GCN에 비해 그래프 모멘트를 학습하는 데 샘플과 매개변수 측면에서 비효율적이다.
• 단일 계층 GCN은 f(A)=A일 때 차수를 학습할 수 있지만 f(A)=D^{-1}A와 같은 다른 모멘트 형식에는 실패한다.
• 잔차 연결이 없으면 GCN의 n<p 계층은 p차 차수의 그래프 모멘트를 학습하는 데 어려움을 겪는다.
• 잔차 연결이 있으면 다층 GCN이 그래프 모멘트 M_p(A)를 O(p) 개의 뉴런으로 학습할 수 있어 표현력을 그래프 크기가 아니라 깊이와 연결시킨다.
• 세 모듈과 잔차 연결을 가진 모듈식 GCN이 작은 그래프에서 BA 대 ER 및 BA 대 Config BA 그래프를 거의 완벽하게 구분할 수 있다.
• 깊이를 늘리는 것이 너비보다 성능에 더 큰 영향을 미치며 모듈을 결합하면 토폴로지 구분에서 상당한 이점을 얻는다.