[논문 리뷰] On the Equivalence of Decoupled Graph Convolution Network and Label Propagation

Hande Dong, Jiawei Chen외 5명|arXiv (Cornell University)|2020. 10. 23.

Advanced Graph Neural Networks참고 문헌 46인용 수 10

한 줄 요약

이 논문은 분리된 그래프 컨볼루션 네트워크(GCNs)가 이론적으로 두 단계의 레이블 전파 과정과 동일하다고 증명한다: 먼저 알려진 레이블을 전파하여 미레이블 노드의 가짜 레이블을 생성한 다음, 증강된 데이터로 신경망을 훈련하는 것이다. 이 방법은 구조적 노이즈와 과도한 스무딩에 대해 강건한 이유는 가짜 레이블에 대해 구조 및 모델 인식 가중치를 적응적으로 부여하기 때문이다. 반면, 레이블 노이즈와 초기화에 민감한 점이 드러나며, 이러한 통찰을 바탕으로 저자들은 기존의 분리된 GCNs보다 더 나은 정확도와 강건성을 확보하는 새로운 적응형 레이블 전파 방법인 PTA를 제안한다.

ABSTRACT

The original design of Graph Convolution Network (GCN) couples feature transformation and neighborhood aggregation for node representation learning. Recently, some work shows that coupling is inferior to decoupling, which supports deep graph propagation better and has become the latest paradigm of GCN (e.g., APPNP and SGCN). Despite effectiveness, the working mechanisms of the decoupled GCN are not well understood. In this paper, we explore the decoupled GCN for semi-supervised node classification from a novel and fundamental perspective -- label propagation. We conduct thorough theoretical analyses, proving that the decoupled GCN is essentially the same as the two-step label propagation: first, propagating the known labels along the graph to generate pseudo-labels for the unlabeled nodes, and second, training normal neural network classifiers on the augmented pseudo-labeled data. More interestingly, we reveal the effectiveness of decoupled GCN: going beyond the conventional label propagation, it could automatically assign structure- and model- aware weights to the pseudo-label data. This explains why the decoupled GCN is relatively robust to the structure noise and over-smoothing, but sensitive to the label noise and model initialization. Based on this insight, we propose a new label propagation method named Propagation then Training Adaptively (PTA), which overcomes the flaws of the decoupled GCN with a dynamic and adaptive weighting strategy. Our PTA is simple yet more effective and robust than decoupled GCN. We empirically validate our findings on four benchmark datasets, demonstrating the advantages of our method. The code is available at https://github.com/DongHande/PT_propagation_then_training.

연구 동기 및 목표

• 분리된 GCNs의 기본 메커니즘을 이해하기 위해, 이는 이론적 분 析가 부족한 바에도 불구하고 GCN의 새로운 범주로 자리 잡고 있다.
• 왜 분리된 GCNs는 구조적 노이즈와 과도한 스무딩에 강건한 반면, 레이블 노이즈와 모델 초기화에 민감한지 조사하기 위해.
• 가짜 레이블 데이터에 대한 적응형 가중치를 도입하여 분리된 GCNs의 한계를 극복하는 새로운 레이블 전파 방법을 개발하기 위해.
• 분리된 GCNs와 두 단계 레이블 전파 과정(레이블 전파 → 신경망 훈련) 사이의 이론적 동치성을 수립하기 위해.

제안 방법

• 이론적 분 析를 통해 분리된 GCNs의 훈련 단계가 수학적으로 먼저 그래프 전역에 알려진 레이블을 전파하여 미레이블 노드의 가짜 레이블을 생성한 다음, 증강된 데이터로 표준 신경망 분류기 훈련을 수행하는 것과 동일하다는 것을 증명한다.
• 두 번째 단계는 원래의 레이블 데이터와 생성된 가짜 레이블 데이터를 조합한 데이터셋으로 표준 신경망 분류기 훈련을 수행하는 것이다.
• 이 방법은 두 원칙에 기반해 가짜 레이블 노드에 대해 적응형 가중치를 동적으로 할당한다: 레이블 노드에 가까운 정도와 가짜 레이블과 모델 예측 간의 불일치 정도.
• 제안된 PTA(Propagation then Training Adaptive) 방법은 이러한 적응형 가중치 전략을 구현하여 강건성과 성능을 향상시킨다.
• 모델은 두 단계 과정을 사용한다: 가짜 레이블 생성을 위한 레이블 전파, 그 다음 적응형 손실 가중치를 사용한 종단 간 훈련.
• 이론적 동치성은 기울기 비교를 통해 검증되었으며, 분리된 GCN과 제안된 두 단계 레이블 전파 프레임워크 간의 최적화 역학이 동일하다는 것을 보여준다.

실험 결과

연구 질문

• RQ1 분리된 GCNs와 레이블 전파 사이에 근본적인 이론적 동치성이 존재하는가?
• RQ2 왜 분리된 GCNs는 구조적 노이즈와 과도한 스무딩에 강건한 반면, 레이블 노이즈와 모델 초기화에 민감한가?
• RQ3 분리된 GCNs의 효과성을 레이블 전파의 관점에서 설명할 수 있으며, 이를 통해 어떤 통찰을 얻을 수 있는가?
• RQ4 분리된 GCNs의 장점을 유지하면서도 그 한계를 극복하는 새로운 레이블 전파 방법을 설계할 수 있는가?

주요 결과

• 분리된 GCNs의 훈련 과정은 이론적으로 두 단계 레이블 전파와 동일하다: 먼저 알려진 레이블을 전파하여 미레이블 노드의 가짜 레이블을 생성한 다음, 증강된 데이터로 신경망을 훈련하는 것이다.
• 분리된 GCNs의 효과성은 작은 레이블 데이터셋에서 과적합을 줄이는 레이블 전파를 통한 데이터 증강에서 기인한다.
• 분리된 GCNs는 가짜 레이블 데이터에 대해 구조 및 모델 인식 가중치를 할당하여, 레이블 노드에 가까운 노드에는 더 높은 가중치를, 가짜 레이블과 모델 예측 간의 불일치가 있는 노드에는 낮은 가중치를 할당한다.
• 이러한 적응형 가중치 전략은 구조적 노이즈와 과도한 스무딩에 대한 강건성을 설명한다. 모델은 신뢰할 수 없는 가짜 레이블의 영향을 줄이기 때문이다.
• 이 방법은 레이블 노이즈와 모델 초기화에 민감한 이유는 가짜 레이블이 초기 레이블과 그래프 구조에 직접적으로 기반하기 때문이다. 이로 인해 오류가 전파될 수 있다.
• 제안된 PTA 방법은 네 가지 벤치마크 데이터셋에서 기존의 분리된 GCNs보다 정확도, 강건성, 효율성 면에서 뛰어나며, 이는 이론적 통찰을 검증한다.