[논문 리뷰] Graph Laplacian Regularized Graph Convolutional Networks for Semi-supervised Learning

Bo Jiang, Doudou Lin|arXiv (Cornell University)|2018. 09. 26.

Advanced Graph Neural Networks참고 문헌 5인용 수 9

한 줄 요약

이 논문은 그래프 구조 데이터에서의 준지도 학습을 향상시키기 위해 그래프 라플라시안 정규화를 특성 표현과 레이블 예측에 모두 통합한 그래프 라플라시안 정규화된 그래프 컨볼루션 네트워크(gLGCN)를 제안한다. 유사한 노드가 유사한 표현과 레이블을 가져야 하는 국소 불변성 조건을 강제함으로써 모델은 강건성과 정확도를 향상시키며, 논문의 기여도는 저명한 논문 네트워크 벤치마크에서 최신 기술 수준의 성능을 달성한다. Citeseer에서 최대 71.4% 향상, Cora에서 83.3%, PubMed에서 79.3%의 정확도 향상을 기록하였다.

ABSTRACT

Recently, graph convolutional network (GCN) has been widely used for semi-supervised classification and deep feature representation on graph-structured data. However, existing GCN generally fails to consider the local invariance constraint in learning and representation process. That is, if two data points Xi and Xj are close in the intrinsic geometry of the data distribution, then their labels/representations should also be close to each other. This is known as local invariance assumption which plays an essential role in the development of various kinds of traditional algorithms, such as dimensionality reduction and semi-supervised learning, in machine learning area. To overcome this limitation, we introduce a graph Laplacian GCN (gLGCN) approach for graph data representation and semi-supervised classification. The proposed gLGCN model is capable of encoding both graph structure and node features together while maintains the local invariance constraint naturally for robust data representation and semi-supervised classification. Experiments show the benefit of the benefits the proposed gLGCN network.

연구 동기 및 목표

• 표준 GCN가 국소 불변성을 강제하지 못하는 한계를 해결한다. 즉, 유사한 노드는 유사한 표현과 레이블을 가져야 한다.
• 특성 학습과 레이블 예측에 모두 그래프 라플라시안 정규화를 통합하여 데이터의 국소 기하학적 구조를 유지한다.
• 다양체 가정과 레이블 전파를 활용하여 준지도 학습에서의 강건성과 일반화 능력을 향상시킨다.
• 특성 표현과 레이블 예측 최적화를 단일 프레임워크 내에서 통합하고 공동 정규화를 적용한다.
• 기존 준지도 학습 방법들과 비교하여 표준 논문 네트워크 데이터셋(Cora, Citeseer, PubMed)에서 뛰어난 성능을 보여준다.

제안 방법

• 최종 레이어 표현 $X^{(K)}$와 레이블 예측 $Z$에 대해 그래프 라플라시안 정규화를 통합한 통합 손실 함수를 제안한다.
• 학습된 특성의 국소 구조를 유지하기 위해 $\mathcal{L}_{\mathrm{reg}}(X^{(K)}) = \sum_{i,j} S_{ij} \|X^{(K)}_i - X^{(K)}_j\|^2$ 형태의 그래프 라플라시안 정규화 항을 사용한다.
• 그래프 상에서 예측의 매끄러움을 강제하기 위해 레이블 예측 정규화 $\mathcal{L}_{\mathrm{reg}}(Z) = \sum_{i,j} S_{ij} \|Z_i - Z_j\|^2$ 를 적용한다.
• 유사도 행렬 $S$ 는 인접 행렬 $A$ 또는 가우시안 커널을 사용한 k-최근접 이웃 그래프를 통해 $S_{ij}$ 를 계산한다.
• 백프로파게이션을 사용해 GCN 아키텍처와 정규화 항을 동시에 최적화함으로써 모델을 엔드 투 엔드로 훈련시킨다.
• 동일 클래스 대비 다른 클래스 노드 쌍을 구분할 수 있도록 하는 레이블 상관관계 인식 정규화 $C_{ij}$ 를 도입하여 성능을 추가로 향상시킨다.

실험 결과

연구 질문

• RQ1 그래프 라플라시안 정규화는 준지도 학습에서 GCN의 강건성과 정확도를 향상시키는가?
• RQ2 특성 표현과 레이블 예측에 모두 국소 불변성을 강제하면 그래프 구조 데이터에서 더 나은 일반화 성능을 달성하는가?
• RQ3 제안된 gLGCN 모델은 기존 최신 기술 수준의 방법들(GCN, Planetoid, ManiReg)과 비교해 표준 논문 네트워크 벤치마크에서 어떻게 성능을 내는가?
• RQ4 특성 학습과 레이블 예측에 각각 적용된 정규화의 기여도는 전체 성능에 어떤 영향을 미치는가?
• RQ5 레이블 상관관계 인식 정규화를 통해 클래스 유사성을 명시적으로 모델링하면 성능 향상이 추가로 이루어지는가?

주요 결과

• 제안된 gLGCN-F-L 모델은 Citeseer에서 71.4%의 정확도를 기록하여 GCN(70.4%)과 모든 베이스라인을 초월한다.
• Cora에서는 gLGCN-F-L가 83.3%의 정확도를 달성하여 GCN(81.4%)과 다음으로 좋은 베이스라인인 Planetoid(75.7%)을 모두 앞선다.
• PubMed에서는 gLGCN-F-L가 79.3%의 정확도를 기록하여 GCN(78.6%)을 초월하고 Planetoid(77.2%)를 능가한다.
• 제거 실험 결과에 따르면, 특성 표현과 레이블 예측에 모두 정규화를 적용할 경우 가장 높은 성능을 기록한다.
• gLGCN-L(레이블 정규화 전용)은 Citeseer에서 71.3%, Cora에서 82.7%의 정확도를 기록하여 레이블 스무딩만으로도 상당한 성능 향상이 가능함을 시사한다.
• 모델은 모든 세 가지 기준 벤치마크 데이터셋에서 일관된 성능 향상을 보이며, 국소 불변성 제약 조건을 통합한 것이 효과적임을 입증한다.