[논문 리뷰] Combining Label Propagation and Simple Models Out-performs Graph Neural Networks

Qian Huang, Horace He외 3명|arXiv (Cornell University)|2020. 10. 27.

Advanced Graph Neural Networks참고 문헌 48인용 수 114

한 줄 요약

논문은 Correct and Smooth (C&S)를 소개한다: 간단한 GNN-없는 파이프라인으로 특징 기반 기본 예측기와 두 post-processing 라벨 전파 단계(error correction 및 prediction smoothing)를 결합하여 GNN에 비해 훨씬 적은 매개변수와 더 빠른 학습으로 최신 연구 수준의 또는 이와 근접한 전이형 노드 분류를 달성한다.

ABSTRACT

Graph Neural Networks (GNNs) are the predominant technique for learning over graphs. However, there is relatively little understanding of why GNNs are successful in practice and whether they are necessary for good performance. Here, we show that for many standard transductive node classification benchmarks, we can exceed or match the performance of state-of-the-art GNNs by combining shallow models that ignore the graph structure with two simple post-processing steps that exploit correlation in the label structure: (i) an "error correlation" that spreads residual errors in training data to correct errors in test data and (ii) a "prediction correlation" that smooths the predictions on the test data. We call this overall procedure Correct and Smooth (C&S), and the post-processing steps are implemented via simple modifications to standard label propagation techniques from early graph-based semi-supervised learning methods. Our approach exceeds or nearly matches the performance of state-of-the-art GNNs on a wide variety of benchmarks, with just a small fraction of the parameters and orders of magnitude faster runtime. For instance, we exceed the best known GNN performance on the OGB-Products dataset with 137 times fewer parameters and greater than 100 times less training time. The performance of our methods highlights how directly incorporating label information into the learning algorithm (as was done in traditional techniques) yields easy and substantial performance gains. We can also incorporate our techniques into big GNN models, providing modest gains. Our code for the OGB results is at https://github.com/Chillee/CorrectAndSmooth.

연구 동기 및 목표

• 간단한 모델과 라벨 전파 후처리가 전이형 노드 분류 벤치마크에서 GNN과 대등하거나 능가할 수 있음을 동기화한다.
• C&S가 훨씬 적은 매개변수와 더 빠른 학습 시간으로 강력한 성능을 달성함을 보여준다.
• 후처리 단계에 실제 정답 라벨을 포함시키면 상당한 이점을 얻을 수 있음을 Demonstrate한다.
• 피처 증가(feature augmentation) 및 C&S를 더 큰 GNN과 결합하는 방법이 추가 개선을 제공할 수 있음을 탐구한다.
• 그래프 학습에서 라벨의 역할과 단순한 후처리의 시사점을 논의한다.

제안 방법

• 그래프를 무시하고 노드 특징으로 기본 예측기 f를 학습시켜 기본 예측 Z를 산출한다(선형 모델이나 얕은 MLP).
• 학습 노드에서 잔차 오차 E = Z_Lt − Y_Lt를 계산하고 그래프를 통해 이러한 오차를 전파하여 E^(t+1) = (1-α)E + α S E^(t)와 같은 라벨 확산 유사 확산을 통해 보정 점수 ˆE를 얻는다.
• 기본 예측과 평활화된 잔차를 결합해 보정된 예측 Z^(r) = Z + ˆE를 얻고 필요 시 자동 스케일링 또는 스케일링된 확산 변형을 적용한다.
• 두 번째 라벨 전파 단계를 수행해 그래프에 걸쳐 최종 예측을 평활하고, 보정된 점수를 입력으로 사용하며 학습 라벨은 진짜 값으로 재설정한다(G^(0) = [Y_Lt on labeled nodes; Z^(r) on unlabeled nodes]); G^(t+1) = (1-α)G^(t) + α S G^(t)를 반복한다.
• 선형 스펙트럴 임베딩을 기본 예측 전에 노드 특징에 추가해 성능을 향상시킬 수 있다.
• 훈련/검증에 실제 정답 라벨을 사용하는 것이 결과를 더욱 향상시킬 수 있음을 보여주고, 엔드-투-엔드 학습(GNNs)과의 비교를 제시한다.

실험 결과

연구 질문

• RQ1 단순한 특징 기반 예측기와 그래프 기반 후처리가 상태-아트 GNN 성능과 대등하거나 더 나은 전이형 노드 분류를 달성할 수 있는가?
• RQ2 오류 수정 전파와 예측 평활화가 성능 향상에 어떻게 기여하고, 자동 스케일링과 고정 확산 변형의 역할은 무엇인가?
• RQ3 후처리에서 실제 정답 라벨을 포함시키는 것이 훈련 라벨만 사용하는 것과 비교해 실질적으로 성과를 향상시키는가?
• RQ4 다양한 데이터셋에서 훈련 효율성과 매개변수 수에서 C&S가 현대의 GNN 모델들과 어떻게 비교되는가?
• RQ5 C&S를 더 복잡한 GNN과 결합하면 추가 이점을 얻을 수 있는가?

주요 결과

• C&S는 종종 여러 벤치마크에서 최첨단 GNN을 능가하거나 대등한 성능을 보이며 훨씬 적은 매개변수와 학습 시간이 수십 배 더 빠르다.
• OGB-Products 데이터셋에서 C&S는 매개변수가 137배 더 적고 학습 시간이 100배 이상 빠른 최상의 GNN을 능가한다.
• 후처리에 실제 정답 검증 라벨을 사용하는 경우(표 4) 성능이 더 향상되며, 최적 모델은 9개 데이터셋 중 7개에서 SOTA를 능가한다.
• 기본 모델(라벨 전파 평활화를 포함하되 라벨 없이)도 여러 데이터셋에서 plain GCN보다 성능이 우수할 수 있어, 매끄럽게 만들어진 출력의 가치를 강조한다.
• 단순한 기본 예측기(선형 또는 얕은 MLP)와 후처리를 사용하는 C&S는 Arxiv, Products, Cora, Citeseer, Pubmed, Email, Rice31, US County, wikiCS와 같은 데이터셋에서 SOTA 베이스라인을 능가하거나 근접하게 비교할 수 있으며, 피처 증가를 활용하고 추가 라벨을 사용할 때 추가 이점을 얻는다.
• 이 방법은 큰 속도 개선과 매개변수 효율성을 보여 주며, 전통적인 방법을 통해 라벨 정보를 직접 포함시키는 것이 상당한 성능 향상을 가져올 수 있음을 시사한다.