[논문 리뷰] Unifying Graph Convolutional Neural Networks and Label Propagation

Hongwei Wang, Jure Leskovec|arXiv (Cornell University)|2020. 02. 17.

Advanced Graph Neural Networks참고 문헌 31인용 수 100

한 줄 요약

이 논문은 이론적으로 Label Propagation(LPA)와 Graph Convolutional Networks(GCN)를 연결한 뒤, 학습 가능한 에지 가중치를 가진 GCN-LPA를 제안한다. 이는 LPA로 GCN을 정규화하여 노드 분류를 개선하는 통합 엔드-투-엔드 모델이다.

ABSTRACT

Label Propagation (LPA) and Graph Convolutional Neural Networks (GCN) are both message passing algorithms on graphs. Both solve the task of node classification but LPA propagates node label information across the edges of the graph, while GCN propagates and transforms node feature information. However, while conceptually similar, theoretical relation between LPA and GCN has not yet been investigated. Here we study the relationship between LPA and GCN in terms of two aspects: (1) feature/label smoothing where we analyze how the feature/label of one node is spread over its neighbors; And, (2) feature/label influence of how much the initial feature/label of one node influences the final feature/label of another node. Based on our theoretical analysis, we propose an end-to-end model that unifies GCN and LPA for node classification. In our unified model, edge weights are learnable, and the LPA serves as regularization to assist the GCN in learning proper edge weights that lead to improved classification performance. Our model can also be seen as learning attention weights based on node labels, which is more task-oriented than existing feature-based attention models. In a number of experiments on real-world graphs, our model shows superiority over state-of-the-art GCN-based methods in terms of node classification accuracy.

연구 동기 및 목표

• 그래프에서 노드 분류를 개선하기 위해 레이블 전파와 그래프 컨볼루션 네트워크의 통합을 동기부여한다.
• LPA와 GCN에서 특징 스무딩과 레이블 스무딩의 이론적 분석을 수행한다.
• 가능한 가중치를 학습하는 단일 엔드-투-엔드 모델(GCN-LPA)을 개발하여 동일 클래스 간 연결성과 레이블 분리성을 강화한다.
• LPA 정규화가 더 나은 에지 가중치를 학습하고 분류 정확도를 개선하는 데 도움이 됨을 입증한다

제안 방법

• 그래프의 인접 행렬 A, 특성 X, 레이블 Y를 이용해 그래프 위의 LPA와 GCN으로 노드 분류를 형식화한다.
• GCN의 특징 스무딩과 LPA의 레이블 스무딩이 공유된 스무딩 원칙을 따른다는 것을 보이고, 정리 1을 통해 관계를 확립한다.
• 특징 영향 I_f와 레이블 영향 I_l을 정의하여 GCN과 LPA를 연결한다(정리 2 및 3).
• 두 단계 최적화 제안: 먼저 LPA 손실을 최소화하여 최적의 에지 가중치 A*를 학습한 뒤 A*로 GCN을 학습한다(식 15–17).
• 단계를 하나의 엔드-투-엔드 objective L_gcn(W,A) + λ L_lpa(A)로 결합하여 공동 학습한다(식 18).
• A*를 동일 클래스 연결성을 강화하고 같은 클래스 간 연결성을 높이기 위한 내부-클래스 에지 강조 학습으로 해석한다.

실험 결과

연구 질문

• RQ1 GCN의 특징 스무딩과 LPA의 레이블 스무딩 사이의 이론적 관계는 무엇인가?
• RQ2 에지 가중치를 학습하여 내부 클래스 연결을 강화하고 노드 분류를 향상시킬 수 있는 방법은 무엇인가?
• RQ3 엔드-투-엔드 프레임워크에서 GCN과 LPA를 하나로 통합하면 표준 그래프 데이터셋에서 전통적인 GCN 및 LPA 기준선보다 성능이 개선되는가?
• RQ4 LPA 정규화가 학습 안정성 및 노이즈가 있는 에지에 대한 강건성에 미치는 영향은 무엇인가?

주요 결과

• GCN과 LPA는 모두 그래프 에지에 걸쳐 스무딩을 수행한다; 고정밀도 특징 스무딩은 근사적 레이블 스무딩과 관련이 있다(정리 1).
• 노드에 대한 특징 영향은 누적 정규화된 특징 영향과의 관계를 통해 레이블 영향과 관련된다(정리 2).
• 동일 클래스 내 레이블 영향이 더 높은 LPA 정확도와 상관관계가 있으며, LPA 손실 최소화를 통한 에지 가중치 학습은 내부-클래스 연결성을 증가시킨다(정리 3).
• 통합 GCN-LPA 모델은 에지 가중치와 GCN 매개변수를 엔드-투-엔드로 학습하며, LPA 정규화가 에지 가중치 학습을 돕는다(식 18).
• GCN-LPA가 다섯 데이터셋에서 최첨단 기준선을 능가하며 노드 분류 정확도를 향상시킨다(표 2).
• GCN-LPA는 내부 클래스 연결을 보강하면서 학습 효율성을 유지하여 노이즈가 있는 에지에 대한 강건성을 보인다(그림 2, 표 2).
• 다섯 데이터셋에서 GCN-LPA는 MLP, LR, LPA, GCN, GAT, JK-Net, GraphSAGE 기준선보다 평균 정확도가 더 높다(표 2).