[논문 리뷰] Semi-Supervised Classification with Graph Convolutional Networks

Thomas Kipf, Max Welling|arXiv (Cornell University)|2016. 09. 09.

Advanced Graph Neural Networks참고 문헌 22인용 수 8,058

한 줄 요약

확대 가능한 Graph Convolutional Network (GCN)을 반지도학적 노드 분류를 위해 그래프에서 직접 작동시키고 재정규화된 특징 전파 계층을 사용하여 인용 네트워크와 지식 그래프 데이터셋에서 강력한 성과를 달성한다.

ABSTRACT

We present a scalable approach for semi-supervised learning on graph-structured data that is based on an efficient variant of convolutional neural networks which operate directly on graphs. We motivate the choice of our convolutional architecture via a localized first-order approximation of spectral graph convolutions. Our model scales linearly in the number of graph edges and learns hidden layer representations that encode both local graph structure and features of nodes. In a number of experiments on citation networks and on a knowledge graph dataset we demonstrate that our approach outperforms related methods by a significant margin.

연구 동기 및 목표

• 레이블이 드문 그래프-구조 반지도학습의 동기를 제시한다.
• 그래프 구조와 노드 특징을 직접 사용하는 간단하고 확장 가능한 그래프 기반 신경망 계층을 제안한다.
• 다수의 데이터셋에 대해 최첨단 베이스라인 대비 정확도와 효율성을 개선했음을 보여준다.

제안 방법

• 층별 전파 규칙 H^{(l+1)} = σ(Â H^{(l)} W^{(l)})를 재정규화 재료 Â = âA로 자기루프 및 차수 기반 정규화를 사용하여 정의한다.
• 谱 그래프 컨볼루션의 1차 근사를 통해 실용적이고 효율적인 GCN(Eq. 7)을 도출한다.
• 라벨이 지정된 노드에서만 교차 엔트로피 손실(Eq. 10)을 최적화하여 소프트맥스가 있는 2층 GCN을 사용한 반지도학적 노드 분류를 수행한다.
• 훈련의 안정성과 대규모 그래프에 대한 확장성을 유지하기 위해 Â̂ = D̃^{−1/2} Ẫ D̃^{−1/2}를 계산한다.
• 에지 수의 선형 복잡도(O(|E|F C))를 갖는 GPU 가속 TensorFlow 구현을 제공한다.
• 고정된 데이터셋으로 평가하고 LP, ManiReg, SemiEmb, DeepWalk, ICA, Planetoid 베이스라인과 비교한다.

실험 결과

연구 질문

• RQ1 단순하고 재정규화된 그래프 컨볼루션 계층이 그래프 전반에 정보를 효과적으로 전파하여 반지도학적 노드 분류에 사용할 수 있는가?
• RQ2 인접 구조를 신경망에 직접 통합하는 것이 그래프-Laplacian 정규화 및 임베딩 기반 방법에 비해 정확도와 효율성을 향상시키는가?
• RQ3 전파 설계(재정규화 트릭)가 서로 다른 데이터셋에서 성능과 확장성에 미치는 영향은 무엇인가?
• RQ4 G CN은 대규모 지식 그래프 유도 데이터(NELL)에서의 성능이 인용 네트워크와 비교해 어떠한가?

주요 결과

방법	Citeseer	Cora	Pubmed	NELL
GCN (this paper)	70.3	81.5	79.0	66.0
Planetoid*	64.7 (26s)	75.7 (13s)	77.2 (25s)	61.9 (185s)

• GCN은 Citeseer(70.3%), Cora(81.5%), Pubmed(79.0%), NELL(66.0%)에서 여러 베이스라인보다 더 높은 정확도를 달성한다.
• 재정규화 트릭은 고차 Chebyshev 또는 1차 모델에 비해 효율성과 예측 성능을 향상시킨다.
• 희소 인접 행렬을 활용한 전체 배치 학습은 에지 수에 선형적으로 시간 복잡도가 나타나 대규모 그래프에 적합하다.
• 더 깊은 변형들(최대 10층)을 탐구했고 이 이층 모델이 여러 데이터셋에서 강하게 작동한다.
• 무작위 그래프에서 모델은 GPU와 CPU 구현에서 확장 가능한 학습 시간을 보여준다.