[논문 리뷰] Neural Link Prediction with Walk Pooling

Liming Pan, Shi Cheng외 1명|arXiv (Cornell University)|2021. 10. 08.

Advanced Graph Neural Networks참고 문헌 34인용 수 12

한 줄 요약

이 논문은 GNN과 함께 엔드 투 엔드 학습이 가능한 신경 링크 예측 방법인 WalkPool을 제안한다. 이 방법은 잠재 그래프 상에서 어텐션 기반 랜덤 워크 확률을 통해 위상적 히우리스틱을 학습하며, 다양한 동형성 및 이형성 그래프에서 최신 기술 수준의 성능을 달성한다. 특히, 노드 특징과 위상적 정보를 함께 모델링하여 비지도 학습 GNN의 링크 예측 벤치마크 성능을 크게 향상시킨다.

ABSTRACT

Graph neural networks achieve high accuracy in link prediction by jointly leveraging graph topology and node attributes. Topology, however, is represented indirectly; state-of-the-art methods based on subgraph classification label nodes with distance to the target link, so that, although topological information is present, it is tempered by pooling. This makes it challenging to leverage features like loops and motifs associated with network formation mechanisms. We propose a link prediction algorithm based on a new pooling scheme called WalkPool. WalkPool combines the expressivity of topological heuristics with the feature-learning ability of neural networks. It summarizes a putative link by random walk probabilities of adjacent paths. Instead of extracting transition probabilities from the original graph, it computes the transition matrix of a "predictive" latent graph by applying attention to learned features; this may be interpreted as feature-sensitive topology fingerprinting. WalkPool can leverage unsupervised node features or be combined with GNNs and trained end-to-end. It outperforms state-of-the-art methods on all common link prediction benchmarks, both homophilic and heterophilic, with and without node attributes. Applying WalkPool to a set of unsupervised GNNs significantly improves prediction accuracy, suggesting that it may be used as a general-purpose graph pooling scheme.

연구 동기 및 목표

• GNN이 링크 예측에서 직접적으로 위상적 구조(특히 모티프와 장거리 상관관계)를 활용하는 데에 한계가 있다는 문제를 해결하기 위해.
• 고정된 경로 가중치 감쇠 등의 고정된 가정을 갖는 전통적 히우리스틱의 일반화 불가 문제를 해결하기 위해.
• 노드 특징과 위상 정보를 하나의 위상적 지문으로 통합하여 학습 가능한 풀링 메커니즘을 개발하기 위해.
• 구조적 규칙를 하드코딩하지 않고도 위상 패턴을 명시적으로 모델링하는 풀링 레이어를 통해 GNN의 엔드 투 엔드 학습을 가능하게 하기 위해.
• 노드 특징이 제한되거나 전혀 없는 경우를 포함하여 동형성 및 이형성 그래프 모두에서 링크 예측 정확도를 향상시키기 위해.

제안 방법

• WalkPool는 학습된 노드 표현에 어텐션 메커니즘을 적용하여 예측 가능한 잠재 그래프를 구성하며, 어텐션 계수를 랜덤 워크의 전이 확률로 사용한다.
• 이 방법은 후보 링크에 인접한 경로를 기반으로 랜덤 워크 확률을 계산하여 위상적 구조를 압축된 학습 가능한 특징 벡터로 요약한다.
• 지도 학습 및 비지도 학습 GNN 모두와 통합되어 엔드 투 엔드 학습이 가능하며, 위상적 히우리스틱의 표현력을 유지한다.
• 어텐션 메커니즘은 특징에 민감한 위상 지문을 가능하게 하며, 전이 확률이 노드 특징과 국소적 구조에 따라 적응한다.
• 전통적인 풀링 또는 부분그래프 추출을 대체하여, 학습된 워크 확률을 사용해 링크 주변의 국소적 위상 구조를 직접 요약한다.
• 이 방법은 보편적이다: 동형성 및 이형성 그래프를 포함한 다양한 그래프 유형에서 작동하며, 각 데이터셋에 대한 하이퍼파rameter 튜닝이 필요하지 않다.

실험 결과

연구 질문

• RQ1 학습 가능한 어텐션 기반 랜덤 워크 풀링 메커니즘이 다양한 그래프 유형에서 고정된 위상 히우리스틱보다 성능이 뛰어나게 작용할 수 있는가?
• RQ2 WalkPool는 통합적이고 미분 가능한 프레임워크 내에서 노드 특징과 위상적 구조를 얼마나 효과적으로 활용할 수 있는가?
• RQ3 Fine-tuning 없이도 WalkPool이 비지도 학습 GNN의 링크 예측 성능을 향상시킬 수 있는가?
• RQ4 WalkPool는 강한 이형성을 보이는 그래프 생성 메커니즘에도 일반화 가능한가?
• RQ5 WalkPool는 실생활 그래프에서 모티프 및 장거리 상관관계 모델링에 어떤 영향을 미치는가?

주요 결과

• 노드 특징이 없는 모든 여덟 개의 벤치마크 데이터셋에서 WalkPool은 최신 기술 수준의 AUC 성능을 달성하였으며, Cora 데이터셋에서 최고의 점수 98.68±0.48를 기록했다.
• 노드 특징이 있는 데이터셋에서는 WalkPool과 GIC(Graph Autoencoder)의 조합이 Pubmed에서 98.72±0.10 AUC를 기록하여, 다음으로 좋은 방법보다 2.8%포인트 높은 성능을 보였다.
• WalkPool와 비지도 학습 GNN(GIC 등)의 조합은 테스트한 세 개의 모든 데이터셋에서 예측 정확도를 향상시켰으며, 특히 위상 정보가 더 중요한 Pubmed에서 가장 큰 향상을 보였다.
• E.coli 데이터셋에서 WalkPool은 SEAL의 AUC를 97.64±0.22에서 98.58±0.19로 향상시켜, 최고 성능을 보이는 모델에서도 효과를 입증했다.
• 동일한 하이퍼파rameter로 모든 데이터셋에서 일관된 성능 향상을 기록하여, WalkPool이 다양한 그래프 유형에 걸쳐 강건하고 보편적임을 확인했다.