[논문 리뷰] Infinitely Wide Graph Convolutional Networks: Semi-supervised Learning via Gaussian Processes

Jilin Hu, Jianbing Shen외 2명|arXiv (Cornell University)|2020. 02. 26.

Advanced Graph Neural Networks참고 문헌 39인용 수 9

한 줄 요약

이 논문은 유한한 너비의 그래프 컨volution 네트워크(GCN)와 수학적으로 동치인 가우시안 프로세스(GP)로 표현되는 무한히 넓은 층을 갖는 GPGC를 제안한다. 이를 통해 GP 회귀를 통한 준지도 학습 노드 분류가 가능해진다. ReLU 활성화 함수 하에서 커널 행렬 계산을 위한 반복적 분석 형태를 유도함으로써 GPGC는 인용 및 이미지 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하면서도 높은 학습 효율성을 유지하며, GCN 및 기타 최신 기술 수준의 방법들보다 빠른 추론 시간을 확보한다.

ABSTRACT

Graph convolutional neural networks~(GCNs) have recently demonstrated promising results on graph-based semi-supervised classification, but little work has been done to explore their theoretical properties. Recently, several deep neural networks, e.g., fully connected and convolutional neural networks, with infinite hidden units have been proved to be equivalent to Gaussian processes~(GPs). To exploit both the powerful representational capacity of GCNs and the great expressive power of GPs, we investigate similar properties of infinitely wide GCNs. More specifically, we propose a GP regression model via GCNs~(GPGC) for graph-based semi-supervised learning. In the process, we formulate the kernel matrix computation of GPGC in an iterative analytical form. Finally, we derive a conditional distribution for the labels of unobserved nodes based on the graph structure, labels for the observed nodes, and the feature matrix of all the nodes. We conduct extensive experiments to evaluate the semi-supervised classification performance of GPGC and demonstrate that it outperforms other state-of-the-art methods by a clear margin on all the datasets while being efficient.

연구 동기 및 목표

• 무한한 너비 근사에서 그래프 컨볼루션 네트워크의 행동을 이론적으로 분석하여 이론적 격차를 메운다.
• 그래프 기반 준지도 학습을 위한 무한히 넓은 GCN과 가우시안 프로세스 간의 공식적 동치성을 확립한다.
• ReLU 활성화 함수 하에서 GCN의 커널 행렬 계산을 위한 분석적으로 다룰 수 있는 형태를 도출한다.
• 그래프 구조와 레이블이 부여된 노드를 활용하여 미관측 노드의 레이블을 예측하는 GP 기반의 회귀 프레임워크를 개발한다.
• 무한히 넓은 GCN가 유한한 너비의 대응체들과 기존 최신 기술 수준의 방법들보다 정확도와 효율성 면에서 뛰어나다는 것을 입증한다.

제안 방법

• 특정 초기화 조건 하에서 무한히 넓은 층을 갖는 GCN의 GP 사전분포를 수학적으로 정의하여, GP와의 동치성을 보여준다.
• ReLU 활성화 함수를 사용할 때 커널 행렬 계산을 위한 반복적 분석 표현을 도출하여 효율적인 계산을 가능하게 한다.
• 준지도 학습 노드 분류 문제를 관측된 레이블과 그래프 구조를 고려한 다중 출력 GP 회귀 문제로 재정의한다.
• 관측된 레이블과 노드 특징을 조건으로 하여, 미관측 노드 레이블의 사후 평균과 공분산을 GP 프레임워크를 통해 계산한다.
• 인접 행렬의 희소성 특성을 활용하여 커널 및 예측 계산 시 계산 효율성을 확보한다.
• 작은 그래프를 위한 GPGC-small과 큰 그래프를 위한 GPGC-big라는 두 가지 변형을 구현하며, 모두 분석적 커널 계산을 사용한다.

실험 결과

연구 질문

• RQ1 무한히 넓은 층을 갖는 그래프 컨볼루션 네트워크가 가우시안 프로세스와 동치임을 입증할 수 있는가?
• RQ2 ReLU 활성화 함수를 갖는 무한히 넓은 GCN의 커널 행렬에 대한 분석적 형태는 무엇인가?
• RQ3 무한히 넓은 GCN에서 유도된 GP 기반 프레임워크는 기존 방법들과 비교해 준지도 학습 노드 분류에서 어떻게 성능을 내는가?
• RQ4 GCN의 은닉 유닛 수를 늘릴수록 성능 향상이 이루어지는가? 그리고 무한한 너비 근사는 최적의 구성인가?
• RQ5 희소성과 분석적 커널 계산을 활용함으로써 제안된 방법이 최소한의 학습 시간으로 높은 정확도를 달성할 수 있는가?

주요 결과

• GPGC-big는 모든 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하며, GCN, GAT, GGP 및 기타 최신 기술 수준의 방법들보다 뚜렷한 격차로 앞서나간다.
• Cora, Citeseer, Pubmed에서 각각 83.6%, 72.1%, 79.6%의 정확도를 기록하며, GCN 및 기타 베이스라인을 압도한다.
• Cora와 Citeseer에서는 2초 미만, Pubmed에서는 46.2초 이내로 학습이 완료되며, GAT 및 GGP와는 달리 1000초 이상 소요되는 것과 비교해 뚜렷한 속도 우수성을 보인다.
• GCN의 은닉 유닛 수가 증가함에 따라 성능이 단조적으로 향상되며, 모든 데이터셋에서 무한한 너비 근사가 가장 높은 정확도를 달성한다.
• 단지 200개의 레이블이 부여된 샘플만으로도 MNIST에서는 98.5%, SVHN에서는 88.1%, CIFAR10에서는 70.4%의 정확도를 기록하며, 표준 GCN을 능가한다.
• 분석적 커널 계산 덕분에 효율적인 학습과 추론이 가능해, 이론적 기반을 바탕으로 하되 대규모 그래프에 대해서도 실용적인 응용이 가능하다.