[논문 리뷰] Link Prediction with Non-Contrastive Learning

William Shiao, Zhichun Guo외 4명|arXiv (Cornell University)|2022. 11. 25.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

이 논문은 비대비 기반 그래프 자기지도 학습 프레임워크인 T-BGRL을 제안한다. 이는 비용이 많이 들지 않는 입력 손상(corruption)을 사용함으로써, 대비 샘플링에 비해 비용이 더 비싼 음성 샘플링을 피함으로써 인덕티브 설정에서 일반화 성능을 향상시킨다. 제안된 방법은 기준 비대비 방법 대비 Hits@50에서 최대 120% 향상된 성능을 기록하며, 최고의 대비 기반 기준보다 14배 빠른 속도를 기록한다. 이는 6개 데이터셋 중 5개에서 뛰어난 성능을 유지한다.

ABSTRACT

A recent focal area in the space of graph neural networks (GNNs) is graph self-supervised learning (SSL), which aims to derive useful node representations without labeled data. Notably, many state-of-the-art graph SSL methods are contrastive methods, which use a combination of positive and negative samples to learn node representations. Owing to challenges in negative sampling (slowness and model sensitivity), recent literature introduced non-contrastive methods, which instead only use positive samples. Though such methods have shown promising performance in node-level tasks, their suitability for link prediction tasks, which are concerned with predicting link existence between pairs of nodes (and have broad applicability to recommendation systems contexts) is yet unexplored. In this work, we extensively evaluate the performance of existing non-contrastive methods for link prediction in both transductive and inductive settings. While most existing non-contrastive methods perform poorly overall, we find that, surprisingly, BGRL generally performs well in transductive settings. However, it performs poorly in the more realistic inductive settings where the model has to generalize to links to/from unseen nodes. We find that non-contrastive models tend to overfit to the training graph and use this analysis to propose T-BGRL, a novel non-contrastive framework that incorporates cheap corruptions to improve the generalization ability of the model. This simple modification strongly improves inductive performance in 5/6 of our datasets, with up to a 120% improvement in Hits@50--all with comparable speed to other non-contrastive baselines and up to 14x faster than the best-performing contrastive baseline. Our work imparts interesting findings about non-contrastive learning for link prediction and paves the way for future researchers to further expand upon this area.

연구 동기 및 목표

• 추천 시스템에서 핵심 과제인 링크 예측에 비대비 자기지도 학습 방법의 적합성을 평가하는 것.
• 기존 비대비 방법, 특히 BGRL이 인덕티브 링크 예측 설정에서 성능이 떨어지는 이유를 규명하는 것.
• 미래에 등장할 노드에 대한 과적합 문제를 해결하기 위해 경량의 손상 기반 정규화 메커니즘을 도입하는 것.
• 비대비 학습의 속도 우수성을 유지하면서도, 대비 기반 기준과 동등하거나 이를 초월하는 성능을 내는 방법을 개발하는 것.

제안 방법

• T-BGRL은 음성 샘플링 없이도 저비용의 가짜 음성 뷰를 생성하는 손상 함수를 도입함으로써 BGRL을 확장한다.
• 손상 과정은 원본 그래프 입력에 대해 단순하고 저비용인 변환(예: 노드 특성 마스킹, 간선 제거)을 적용하여 증강된 뷰를 생성한다.
• 모델은 원본 뷰와 손상된 뷰 사이에 대비 유사한 목적함수를 사용하지만, 음성 샘플이 필요로 하지 않아 비대비 학습의 효율성을 유지한다.
• 손실 함수는 원본 뷰와 손상된 뷰 간의 특징 불변성을 장려함으로써, 미리 보지 않은 노드로의 일반화 능력과 강건성을 향상시킨다.
• 프레임워크는 표준 GNN 인코더와 예측 헤드를 사용하여 엔드 투 엔드로 훈련되며, 손상은 순전파 동안 적용된다.
• 이 방법은 여섯 개의 벤치마크 데이터셋을 대상으로 한 전도적 및 인덕티브 링크 예측 설정에서 평가된다.

실험 결과

연구 질문

• RQ1 비대비 기반 그래프 SSL 방법, 특히 BGRL이 전도적 설정에서는 뛰어난 성능을 보이지만, 인덕티브 설정에서는 왜 성능이 떨어지는가?
• RQ2 링크 예측에서 새로운 노드로 일반화할 때 비대비 모델에서 관찰된 과적합 현상의 원인은 무엇인가?
• RQ3 비용이 많이 들지 않는 음성 샘플링을 재도입하지 않고도, 경량의 손상 기반 메커니즘이 비대비 링크 예측의 일반화 성능을 향상시킬 수 있는가?
• RQ4 T-BGRL의 성능은 인덕티브 링크 예측 정확도와 훈련 속도 측면에서 비대비 및 대비 기반 기준과 비교해 어떻게 되는가?

주요 결과

• BGRL은 전도적 링크 예측에서 대비 모델인 margin-loss GCN과 동등하거나 이를 초월하는 성능을 보이며, 6개 데이터셋 중 4개에서 뛰어난 성능을 기록한다.
• 인덕티브 링크 예측에서는 BGRL이 과적합으로 인해 성능이 크게 떨어지며, 특히 새로운 노드를 포함한 양성 및 음성 노드 쌍의 표현을 서로 멀어지게 하는 경향이 있다.
• T-BGRL은 6개 데이터셋 중 5개에서 BGRL의 인덕티브 성능을 향상시켰으며, Hits@50에서 최대 120% 향상된 성능을 기록했다.
• T-BGRL은 다른 비대비 방법과 유사한 훈련 속도를 유지하며, Coauthor-Phy 데이터셋에서 최고 성능을 기록한 대비 기반 기준(margin-loss GCN)보다 14배 더 빠른 속도를 기록했다.
• T-BGRL의 손상 기반 증강은 과적합을 효과적으로 줄이고 일반화 능력을 향상시키며, 비용이 많이 드는 음성 샘플링이 필요로 하지 않는다.
• 제안된 방법은 비대비 방법 중 최고 성능을 기록하며, 대비 기반 기준과 동등하거나 이를 초월하는 성능을 내면서도 상당히 더 빠른 속도를 기록한다.