[논문 리뷰] Why Propagate Alone? Parallel Use of Labels and Features on Graphs

Yangkun Wang, Jiarui Jin외 8명|arXiv (Cornell University)|2021. 10. 14.

Advanced Graph Neural Networks참고 문헌 20인용 수 5

한 줄 요약

이 논문은 그래프 신경망에서 널리 사용되는 '라벨 트릭'에 대한 이론적 분석을 제공하며, 라벨의 무작위 분할이 데이터 피팅 항과 그래프 구조에 적응하는 정규화 항으로 구성된 결정론적 학습 목표로 축소될 수 있음을 증명한다. 이 방법은 SOTA 성능을 기록한 OGB를 포함한 다양한 GNN 아키텍처와 벤치마크에서 성능을 향상시키며, 라벨 누출을 제거하고 엔드 투 엔드 학습을 가능하게 한다.

ABSTRACT

Graph neural networks (GNNs) and label propagation represent two interrelated modeling strategies designed to exploit graph structure in tasks such as node property prediction. The former is typically based on stacked message-passing layers that share neighborhood information to transform node features into predictive embeddings. In contrast, the latter involves spreading label information to unlabeled nodes via a parameter-free diffusion process, but operates independently of the node features. Given then that the material difference is merely whether features or labels are smoothed across the graph, it is natural to consider combinations of the two for improving performance. In this regard, it has recently been proposed to use a randomly-selected portion of the training labels as GNN inputs, concatenated with the original node features for making predictions on the remaining labels. This so-called label trick accommodates the parallel use of features and labels, and is foundational to many of the top-ranking submissions on the Open Graph Benchmark (OGB) leaderboard. And yet despite its wide-spread adoption, thus far there has been little attempt to carefully unpack exactly what statistical properties the label trick introduces into the training pipeline, intended or otherwise. To this end, we prove that under certain simplifying assumptions, the stochastic label trick can be reduced to an interpretable, deterministic training objective composed of two factors. The first is a data-fitting term that naturally resolves potential label leakage issues, while the second serves as a regularization factor conditioned on graph structure that adapts to graph size and connectivity. Later, we leverage this perspective to motivate a broader range of label trick use cases, and provide experiments to verify the efficacy of these extensions.

연구 동기 및 목표

• GNN에서 널리 채택되었지만 잘 이해되지 않는 라벨 트릭의 이론적 분석을 수행한다. 이는 훈련 라벨를 특성과 함께 병렬적으로 사용하기 위해 무작위로 분할하는 방식이다.
• 라벨 트릭의 확률적 접근이 결정론적이고 해석 가능한 학습 목표로 축소될 수 있는지 확인한다.
• 실제 적용에서 라벨 트릭이 유도하는 정규화 효과와 일반화 영향을 조사한다.
• 이전에 미분 가능하지 않았던 방법들인 라벨 전파 및 Correct and Smooth (C&S)와 같은 방법들에 라벨 트릭을 확장하여 엔드 투 엔드 학습을 가능하게 한다.
• 다양한 GNN 아키텍처와 벤치마크 데이터셋(예: OGB 및 MAG240M-LSC)을 통해 방법의 유효성을 검증한다.

제안 방법

• 랜덤 라벨 트릭의 결정론적 자기 배제 간소화를 제안한다. 이는 일부 라벨를 입력에서 제외하고는 단지 감독 신호로만 사용한다.
• 라벨 트릭의 확률적 접근이 데이터 피팅 항과 그래프 구조 및 연결성에 의존하는 정규화 항으로 구성된 결정론적 목표와 동치임을 증명한다.
• 정규화 항이 그래프 크기와 조밀함에 따라 적응하며, 라벨 예측에 부드러움 우선 순위를 제공함을 도출한다.
• 결정론적 공식을 활용해 라벨 트릭을 C&S와 같은 비엔드 투 엔드 방법으로 확장하여, 학습 가능한 후처리를 가능하게 한다.
• 라벨 트릭을 통합한 학습 가능한 C&S의 변형을 도입하여 스무딩 가중치의 엔드 투 엔드 최적화를 가능하게 한다.
• Cora-full, PubMed, ogbn-arxiv, ogbn-products 등 다양한 벤치마크에서 선형 모델, GNN, GBDT 기반 예측기에서 방법의 유효성을 검증한다.

실험 결과

연구 질문

• RQ1 라벨 트릭의 확률적 접근 방식은 결정론적이고 해석 가능한 학습 목표로 축소될 수 있는가?
• RQ2 라벨 트릭이 학습 과정에서 도입하는 통계적 성질과 정규화 성질은 무엇인가?
• RQ3 훈련 중 예측 방식이 추론과 다를 때, 라벨 트릭은 모델 일반화에 어떤 영향을 미치는가?
• RQ4 이전에 비가역적인 그래프 기반 방법들에 라벨 트릭을 확장하여 엔드 투 엔드 학습을 가능하게 할 수 있는가?
• RQ5 결정론적 공식화는 다양한 GNN 아키텍처와 실제 벤치마크에서 성능 향상에 기여하는가?

주요 결과

• 라벨 트릭의 확률적 접근은 라벨 누출을 방지하는 데이터 피팅 항과 그래프 구조에 적응하는 정규화 항으로 구성된 결정론적 목표와 이론적으로 동치이다.
• PubMed 및 ogbn-arxiv에서, 결정론적 라벨 트릭은 SGC, SIGN, TWIRLS 모델에서 성능을 향상시키며, PubMed에서 최대 1.8% 향상되고 ogbn-arxiv에서 최대 2.8% 향상된다.
• Cora-full에서 성능는 기준선과 유사하게 유지되며, 이는 모델가 이미 거의 100% 훈련 정확도를 달성하고 있어 라벨 정보가 잘 통합되어 있기 때문에 수익 감소 효과가 나타남을 시사한다.
• 선형 모델에서는 분할 확률 α가 정규화 계수로 작용하며, 높은 α가 성능 향상에 기여하지만, GNN에서는 내재된 비선형성으로 인해 최적의 α가 더 낮다.
• 학습 가능한 C&S 변형은 Cora-full 및 PubMed에서 검증 정확도에서 원본 C&S를 능가하며, ogbn-arxiv 및 ogbn-products에서도 동일하거나 이를 초월한다.
• GBDT와 조합했을 때, 라벨 트릭은 표준 GNN 외부의 표본 노드 회귀 데이터셋에서도 성능을 크게 향상시키며, 표준 GNN 외부에서도 광범위한 적용 가능성을 보여준다.