[논문 리뷰] Bag of Tricks for Node Classification with Graph Neural Networks

Yangkun Wang, Jiarui Jin외 4명|arXiv (Cornell University)|2021. 03. 24.

Advanced Graph Neural Networks참고 문헌 35인용 수 28

한 줄 요약

본 논문은 GNN을 이용한 노드 분류를 위한 실용적 요령을 조사하고, 새로운 라벨 사용법, 강건한 손실, 아키텍처 튜닝을 도입하며, 여러 데이터셋에서 일관된 실험적 이득을 보여준다.

ABSTRACT

Over the past few years, graph neural networks (GNN) and label propagation-based methods have made significant progress in addressing node classification tasks on graphs. However, in addition to their reliance on elaborate architectures and algorithms, there are several key technical details that are frequently overlooked, and yet nonetheless can play a vital role in achieving satisfactory performance. In this paper, we first summarize a series of existing tricks-of-the-trade, and then propose several new ones related to label usage, loss function formulation, and model design that can significantly improve various GNN architectures. We empirically evaluate their impact on final node classification accuracy by conducting ablation studies and demonstrate consistently-improved performance, often to an extent that outweighs the gains from more dramatic changes in the underlying GNN architecture. Notably, many of the top-ranked models on the Open Graph Benchmark (OGB) leaderboard and KDDCUP 2021 Large-Scale Challenge MAG240M-LSC benefit from these techniques we initiated.

연구 동기 및 목표

• 데이터 전처리 및 학습 요령이 아키텍처 변화보다 노드 분류 정확도 향상에 중요하다는 점의 중요성을 동기화한다.
• 학습 시 라벨을 입력으로 사용하는 새로운 기법과 준지도 학습을 향상시키기 위한 라벨 재사용 기술을 소개한다.
• 이상치 및 노이즈 라벨에 강건하도록 분류 손실 함수 군을 제안한다.
• 다양한 그래프에서 성능을 높이기 위한 GAT 아키텍처 및 손실 설계의 조정 방법을 탐구한다.

제안 방법

• 학습 및 추론 중 ground-truth 라벨을 입력으로 사용해 라벨 정보를 전파하는 라벨 사용을 제안한다.
• 이전 반복에서 예측된 라벨을 입력으로 피드하는 라벨 재사용을 개발한다.
• 이상치에 대한 강건성을 높인 로지스틱이 아닌 손실 함수군(예: Loge 손실)을 포함한다.
• 대칭 정규화 및 에지 특징 인식 변형을 포함한 GCN 및 GAT와 같은 GNN 아키텍처를 튜닝한다.
• 제안된 요령을 코라(Cora), 시타씨어(Citeseer), 퍼브메드(Pubmed), 레딧(Reddit), ogbn-arxiv, ogbn-proteins, ogbn-products 등 여러 데이터셋에서 평가하고 변형을 제거 연구(ablation study)로 비교한다.

실험 결과

연구 질문

• RQ1 훈련 시와 추론 시에 학습 라벨을 입력으로 explicit하게 사용하는 것이 수치적으로 degenerate 솔루션을 초래하지 않으면서 노드 분류 성능을 향상시킬 수 있는가?
• RQ2 이전 반복에서 예측된 라벨의 피드백(라벨 재사용)이 다양한 그래프에서 준지도 학습 GNN의 성능을 향상시키는가?
• RQ3 로짓 손실에 근접한 강건하고 비凸적인 손실 함수(Loge 손실 등)가 전통적인 손실보다 노드 분류를 위한 GNN 학습에서 어떤 차이가 있는가?
• RQ4 다양한 그래프 데이터셋에서 최고의 성능을 내는 GAT 및 인접 정규화(adjacency normalization) 변형은 무엇인가?
• RQ5 제안된 요령들이 상위 OCGB 리더보드 모델에서 관찰되는 성능 향상을 전체적으로 설명하는가?

주요 결과

• 라벨-입력 및 라벨 재사용 기법은 대용량 데이터셋에서 중간 라벨 비율과 함께 일관되게 정확도를 향상시킨다.
• Loge 손실은 여러 데이터셋에서 로지스틱/Savage 손실을 능가하는 경우가 많고 결정 경계 근처에서의 기울기 특성이 우수하다.
• 대칭 정규화된 인접 행렬을 사용하는 GAT 변형은 일반적으로 vanilla GAT보다 여러 데이터셋에서 성능이 우수하며, 에지 특징 변형은 단백질 데이터에서 상당한 이득을 가져올 수 있다.
• 라벨 사용 요령을 기존 방법(C&S 등)과 결합하면 추가적인 개선이 나타난다.
• 대규모 데이터셋인 ogbn-proteins에서 에지 특징이 있는 GAT가 ROC-AUC를 크게 개선해 강건성과 적용 가능성이 강하게 나타난다.