[논문 리뷰] Deeper Insights into Graph Convolutional Networks for Semi-Supervised Learning

Qimai Li, Zhichao Han외 1명|arXiv (Cornell University)|2018. 01. 22.

Advanced Graph Neural Networks인용 수 395

한 줄 요약

본 논문은 GCN이 왜 작동하는지 Laplacian smoothing을 수행함을 보이고, 과도한 평활화(over-smoothing)와 검증 필요성 등의 한계를 확인하며, 적은 라벨로 반지도 학습을 강화하기 위해 랜덤 워크와 자기훈련을 활용한 공동훈련(co-training) 방법을 제안한다.

ABSTRACT

Many interesting problems in machine learning are being revisited with new deep learning tools. For graph-based semisupervised learning, a recent important development is graph convolutional networks (GCNs), which nicely integrate local vertex features and graph topology in the convolutional layers. Although the GCN model compares favorably with other state-of-the-art methods, its mechanisms are not clear and it still requires a considerable amount of labeled data for validation and model selection. In this paper, we develop deeper insights into the GCN model and address its fundamental limits. First, we show that the graph convolution of the GCN model is actually a special form of Laplacian smoothing, which is the key reason why GCNs work, but it also brings potential concerns of over-smoothing with many convolutional layers. Second, to overcome the limits of the GCN model with shallow architectures, we propose both co-training and self-training approaches to train GCNs. Our approaches significantly improve GCNs in learning with very few labels, and exempt them from requiring additional labels for validation. Extensive experiments on benchmarks have verified our theory and proposals.

연구 동기 및 목표

• GCN이 반지도 학습에서 어떻게 작동하는지, 왜 성공하거나 실패하는지 명확히 밝히기.
• 라플라시안 평활화로 인한 얕은(shallow) 및 깊은(deep) GCN 아키텍처의 한계 분석.
• 적은 라벨로 성능을 향상시키기 위한 학습 시 전략 제안(랜덤 워크와의 공동훈련 및 자기훈련).
• 추가 검증 데이터 없이 표준 그래프 기반 벤치마크에서 실증적 이득 시연.

제안 방법

• GCN 컨볼루션은 대칭 라플라시안 평활화의 특별한 형태임을 보인다.
• Derivation: H^{(l+1)} = sigma( D~^{-1/2} A~ D~^{-1/2} H^{(l)} Theta^{(l)} ).
• 라플라시안 평활화가 같은 클러스터의 특성 유사성을 촉진하는 이유를 설명하고, 계층 간 과도한 평활화로 이어질 수 있음을 설명한다.
• 전역 그래프 구조를 학습에 주입하기 위한 랜덤 워크(ParWalks)와의 공동훈련 제안.
• GCN 예측을 사용해 라벨링된 집합을 확장하는 자기훈련 제안.
• 추가 검증 데이터 없이 라벨을 견고하게 확장하기 위해 공동훈련과 자기훈련(Union 및 Intersection) 결합.
• 레이블 필요성의 휴리스틱 하한 eta 를 (d_hat)^{tau} * eta ~ n 로 제시하여 레이블 필요성을 가늠한다.

실험 결과

연구 질문

• RQ1 Graph Convolutional Networks가 왜 반지도 학습에서 잘 작동하는가?
• RQ2 얕은(gra) 및 깊은(GCN) 아키텍처에서의 근본적인 한계는 무엇인가(예: 과도한 평활화, 라벨의 전파)?
• RQ3 이 한계를 완화하고 라벨 검증 데이터의 필요성을 줄이거나 제거하는 학습 전략을 설계할 수 있는가?
• RQ4 랜덤 워크를 이용한 공동훈련과 자기훈련이 매우 적은 라벨에서 GCN 성능을 개선하고, Union/Intersection 전략은 어떻게 비교되는가?
• RQ5 이 방법들이 표준 그래프 벤치마크(Cora, CiteSeer, PubMed)에서 소수의 라벨링 비율로 어떻게 성능을 보이는가?

주요 결과

• GCN 컨볼루션은 Laplacian 평활화의 한 형태로 작동하여 이웃 정보를 혼합해 분류를 용이하게 한다고 설명한다.
• 너무 많은 계층에서 과도한 평활화가 발생하면 이웃 연결 구성요소 간의 특징이 구별되지 않아 깊은 GCN은 학습하기 어렵다.
• 두 계층 GCN이 평가된 심층 변형들 가운데 실질적인 성능이 가장 좋은 경우가 종종 나타난다.
• 랜덤 워크 모델(ParWalks)과의 공동훈련은 전역 그래프 구조를 사용해 라벨링된 집합을 확장하고 추가 검증 데이터 없이도 GCN 학습을 향상시킨다.
• 자기훈련은 그래프 구조가 제한될 때 신뢰도 높은 GCN 예측을 추가해 라벨 데이터를 보강하고 강건성을 향상시킨다.
• Union 및 Intersection 전략은 일반적으로 성능을 향상시키며, Union이 가장 넓은 이득을 제공하고 Intersection은 필요하지 않은 라벨을 걸러낼 수 있다.