[논문 리뷰] Line Graph Neural Networks for Link Prediction

Lei Cai, Jundong Li외 2명|arXiv (Cornell University)|2020. 10. 20.

Advanced Graph Neural Networks참고 문헌 39인용 수 4

한 줄 요약

이 논문은 원본 그래프를 선 그래프로 변환하여 각 에지가 노드가 되도록 함으로써, 그래프 풀링을 필요로 하지 않고도 직접적인 링크 특징 학습이 가능한 노드 분류 기반 링크 예측을 위한 선 그래프 신경망(LGLP)을 제안한다. 이 방법은 14개의 다양한 데이터셋에서 SEAL과 같은 최신 기술보다 뛰어난 성능을 내며, 더 적은 파라미터 수와 더 빠른 수렴 속도로 높은 AUC와 AP를 달성한다.

ABSTRACT

We consider the graph link prediction task, which is a classic graph analytical problem with many real-world applications. With the advances of deep learning, current link prediction methods commonly compute features from subgraphs centered at two neighboring nodes and use the features to predict the label of the link between these two nodes. In this formalism, a link prediction problem is converted to a graph classification task. In order to extract fixed-size features for classification, graph pooling layers are necessary in the deep learning model, thereby incurring information loss. To overcome this key limitation, we propose to seek a radically different and novel path by making use of the line graphs in graph theory. In particular, each node in a line graph corresponds to a unique edge in the original graph. Therefore, link prediction problems in the original graph can be equivalently solved as a node classification problem in its corresponding line graph, instead of a graph classification task. Experimental results on fourteen datasets from different applications demonstrate that our proposed method consistently outperforms the state-of-the-art methods, while it has fewer parameters and high training efficiency.

연구 동기 및 목표

• 기존의 딥러닝 기반 링크 예측 모델에서 그래프 풀링 레이어로 인해 발생하는 정보 손실 문제를 해결한다.
• 수작업으로 설계된 히ュ리스틱 방법의 한계를 극복하여 다양한 그래프 유형 간에 일반화 가능한 모델을 개발한다.
• 링크 예측 문제를 선 그래프에서의 노드 분류 문제로 재정의함으로써, 링크에 대한 직접적이고 효율적인 특징 학습이 가능한 새로운 프레임워크를 개발한다.
• 그래프 풀링이 필요 없어지면서도 높은 예측 성능 유지를 유지하면서 학습 효율성과 모델 일반화 성능을 향상시킨다.

제안 방법

• 원본 그래프를 그에 대응하는 선 그래프로 변환하여, 선 그래프의 각 노드가 원본 그래프의 에지가 되도록 한다.
• 포함된 부분그래프 내의 노드에 구조적 중요도 점수를 할당하기 위해 노드 레이블링 함수를 사용하여 특징 표현을 향상시킨다.
• 선 그래프에 직접적으로 그래프 컬러이션 네트워크(GCNs)를 적용하여 원본 에지를 나타내는 노드 임베딩을 학습한다.
• 선 그래프에서 학습된 임베딩을 사용해 링크 존재 여부를 예측하기 위해 링크 예측을 노드 분류 작업으로 간주한다.
• 노드 속성을 선 그래프의 노드 레이블과 연결하여 속성 정보가 포함된 그래프에서도 성능을 유지할 수 있도록 한다.
• 링크 예측 성능 최적화를 위해 교차 엔트로피 손실을 사용하여 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 선 그래프에서 링크 예측을 노드 분류 문제로 재정의함으로써, 그래프 풀링 레이어에서 발생하는 정보 손실을 제거할 수 있는가?
• RQ2 제안된 선 그래프 신경망 프레임워크가 다양한 실세계 데이터셋에서 SEAL과 같은 최신 기술보다 더 뛰어난 성능을 내는가?
• RQ3 50%의 훈련 링크만을 사용하는 저자료 환경에서 제안된 방법의 성능은 어떠한가?
• RQ4 일반 그래프와 속성 그래프 양쪽 모두에서 성능 저하 없이 높은 성능을 유지할 수 있는가?
• RQ5 그래프 풀링 레이어에 의존하는 모델과 비교해 제안된 방법의 학습 수렴 속도는 어떠한가?

주요 결과

• 제안된 LGLP 모델은 AUC 및 AP 지표에서 14개의 다양한 데이터셋에서 모든 베이스라인 모델, 특히 SEAL을 능가한다.
• 50%의 훈련 링크를 사용한 Cora 데이터셋에서 LGLP는 AUC 81.45와 AP 81.99를 달성했으며, SEAL의 AUC 75.33과 AP 77.69보다 뚜렷이 뛰어나다.
• 훈련 링크의 50%만을 사용할 경우에도 LGLP는 80% 훈련 데이터에서 달성한 성능에 매우 가까운 AUC 및 AP 값을 유지하여 저자료 설정에서도 뛰어난 일반화 성능을 보였다.
• LGLP는 10~15 에포크 내에 수렴했고, SEAL은 50 에포크가 필요했으며, 이는 훨씬 더 빠른 학습 속도와 더 낮은 파라미터 수를 의미한다.
• 속성 그래프인 Cora와 같은 경우 LGLP는 안정적인 성능을 유지했지만, SEAL은 노드 속성을 포함할 경우 성능이 저하되었다.
• 선 그래프 변환 과정을 통해 위상 정보를 효과적으로 유지하였으며, 이로 인해 그래프 풀링 없이도 GCN이 고품질의 에지 표현을 학습할 수 있었다.