[논문 리뷰] Generative Graph Neural Networks for Link Prediction

Xingping Xian, Tom Wu외 6명|arXiv (Cornell University)|2022. 12. 31.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

이 논문은 그래프 재구성 기반으로 전반적이고 고차원의 구조적 패턴을 활용하여 기존의 판별적 하위그래프 분류 방법들을 능가하는 새로운 생성형 그래프 신경망인 GraphLP를 제안한다. 이는 수동으로 설계된 하위그래프 특징이나 局부 하위그래프 샘플링에 의존하지 않고, 종단 간(end-to-end)으로 구조적 표현을 학습함으로써 AUC 및 AP 점수에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Inferring missing links or detecting spurious ones based on observed graphs, known as link prediction, is a long-standing challenge in graph data analysis. With the recent advances in deep learning, graph neural networks have been used for link prediction and have achieved state-of-the-art performance. Nevertheless, existing methods developed for this purpose are typically discriminative, computing features of local subgraphs around two neighboring nodes and predicting potential links between them from the perspective of subgraph classification. In this formalism, the selection of enclosing subgraphs and heuristic structural features for subgraph classification significantly affects the performance of the methods. To overcome this limitation, this paper proposes a novel and radically different link prediction algorithm based on the network reconstruction theory, called GraphLP. Instead of sampling positive and negative links and heuristically computing the features of their enclosing subgraphs, GraphLP utilizes the feature learning ability of deep-learning models to automatically extract the structural patterns of graphs for link prediction under the assumption that real-world graphs are not locally isolated. Moreover, GraphLP explores high-order connectivity patterns to utilize the hierarchical organizational structures of graphs for link prediction. Our experimental results on all common benchmark datasets from different applications demonstrate that the proposed method consistently outperforms other state-of-the-art methods. Unlike the discriminative neural network models used for link prediction, GraphLP is generative, which provides a new paradigm for neural-network-based link prediction.

연구 동기 및 목표

• 수동으로 설계된 하위그래프 특징과 국소적 하위그래프 샘플링에 의존하는 기존 판별적 링크 예측 방법의 한계를 해결하기 위해.
• 계층적이고 전반적인 구조적 패턴을 학습함으로써 그래프의 구조를 재구성함으로써 누락되거나 오류가 있는 링크를 추론하는 생성형 프레임워크를 개발하기 위해.
• 기존 GNN 기반 링크 예측 모델에서 k-호프 둘러싸인 하위그래프 선택과 수동 특징에 대한 의존성을 극복하기 위해.
• 고차원 연결 패턴과 계층적 그래프 구조가 링크 예측 성능 향상에 얼마나 기여하는지 탐색하기 위해.
• 하위그래프 분류 기반 판별적 모델과는 다를 바 있는 새로운 링크 예측 패러다임을 제공하기 위해.

제안 방법

• GraphLP는 네트워크 재구성 이론에 기반한 생성 학습 프레임워크를 활용하며, 모델은 손상된 그래프 버전으로부터 원래 그래프를 재구성하도록 학습한다.
• 다중층 퍼셉트론(MLP)을 통해 국소적 및 전반적 구조적 특징을 통합하며, 다중 순서의 연결 패턴을 적응적으로 융합한다.
• 전체 그래프의 구조적 조직을 활용하여 결합 추론 메커니즘을 통해 누락 및 오류 링크를 동시에 예측한다.
• 고차원 연결성을 계층적 구조 패턴 계산 메커니즘을 통해 모델링하며, 이는 재귀적 모듈형 및 별자리 형태의 그래프 조직을 포착한다.
• 학습 목표는 재구성 손실과 링크 예측 손실을 조합하며, 두 손실을 균형 잡기 위한 교환 하이퍼파rameter λ를 포함한다.
• 과적합 방지를 위해 훈련 중 드롭아웃을 적용하며, 적응적 학습률을 사용해 역전파로 최적화한다.

실험 결과

연구 질문

• RQ1 전반적이고 고차원의 구조적 패턴을 학습함으로써 생성형 GNN 프레임워크가 하위그래프 분류 기반 판별적 방법보다 링크 예측 성능에서 뛰어나게 될 수 있는가?
• RQ2 계층적 및 다중 순서의 구조적 특징 통합이 국소적 하위그래프 기반 방법에 비해 링크 예측 성능 향상에 얼마나 기여하는가?
• RQ3 모델은 다양한 수준의 그래프 훼손과 구조적 노이즈에 얼마나 강인한가?
• RQ4 깊이 및 교환 하이퍼파rameter λ와 같은 하이퍼파rameter에 대해 모델 성능은 얼마나 민감한가?
• RQ5 생성형 재구성 접근 방식이 다양한 실제 세계의 그래프 유형에 걸쳐 더 나은 일반화 능력을 제공하는가?

주요 결과

• GraphLP는 모든 벤치마크 데이터셋에서 최신 기술(SOTA) 성능을 달성하며, AUC 및 AP 지표에서 고전적 히우리스틱 방법과 최근 SOTA 판별적 GNN 모두를 일관되게 능가한다.
• 모델 성능은 깊이가 증가함에 따라 크게 향상되며, 3층에서 최고 성능을 보이며, 4층에서 과적합 현상이 발생함으로써 일반화에 최적의 깊이임을 시사한다.
• 모델은 20%의 링크 훼손에 대해 강인한 성능을 보이며, 140번째 에포크에서 누락 링크의 가능성 점수는 0.5를 초과하고 오류 링크의 가능성 점수는 0.3 이하로 유지된다.
• 대부분의 데이터셋에서 교환 하이퍼파rameter λ에 대해 민감도가 낮아, 특히 AP 점수에서 안정적인 성능 유지를 보이며 성능이 일관되게 유지된다.
• 수렴은 약 200 에포크 내에 달성되며, 검증 손실과 지표가 안정화되고, 드롭아웃 정규화로 인해 검증 손실이 훈련 손실보다 낮게 유지된다.
• 복구된 그래프 구조의 시각화 결과는 GraphLP가 훼손 조건 하에서도 구조적 통합성을 효과적으로 복원함을 확인하며, 생성 능력을 검증한다.