[논문 리뷰] Structure Enhanced Graph Neural Networks for Link Prediction

Baole Ai, Qin Zhou외 2명|arXiv (Cornell University)|2022. 01. 14.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

이 논문은 메시지 전파 중에 위상적 구조를 忽시하는 표준 GNN의 한계를 해결하기 위해, 대상 노드 주변의 위상적 구조를 인코딩하기 위해 경로 레이블링(PL)을 도입하고, 이러한 구조적 임베딩을 노드 특징과 함께 공동 학습 프레임워크를 통해 융합함으로써 링크 예측을 위한 구조 강화 그래프 신경망(SEG)을 제안한다. SEG는 OGB 링크 예측 벤치마크 세 가지 모두에서 최신 기준 성능을 달성하며, SEAL 및 GCN을 포함한 이전 방법들을 능가한다.

ABSTRACT

Graph Neural Networks (GNNs) have shown promising results in various tasks, among which link prediction is an important one. GNN models usually follow a node-centric message passing procedure that aggregates the neighborhood information to the central node recursively. Following this paradigm, features of nodes are passed through edges without caring about where the nodes are located and which role they played. However, the neglected topological information is shown to be valuable for link prediction tasks. In this paper, we propose Structure Enhanced Graph neural network (SEG) for link prediction. SEG introduces the path labeling method to capture surrounding topological information of target nodes and then incorporates the structure into an ordinary GNN model. By jointly training the structure encoder and deep GNN model, SEG fuses topological structures and node features to take full advantage of graph information. Experiments on the OGB link prediction datasets demonstrate that SEG achieves state-of-the-art results among all three public datasets.

연구 동기 및 목표

• 메시지 전파 과정에서 위상적 구조를 忽시하는 표준 GNN의 한계를 해결한다.
• 로컬 그래프 위상 내에서 노드의 역할과 위치를 포괄하는 구조적 특징을 효과적으로 인코딩하는 방법을 설계한다.
• 노드 특징과 구조적 임베딩을 함께 학습하여 링크 예측 성능을 향상시키는 통합 프레임워크를 개발한다.
• 실제 그래프 데이터셋에서 기존의 GNN 및 위상 기반 베이스라인에 비해 제안된 방법의 우수성을 입증한다.

제안 방법

• 대상 노드에서 다른 노드까지의 최단 경로 거리 기반으로 레이블을 할당하는 새로운 노드 위치 레이블링 방법인 경로 레이블링(PL)을 제안한다.
• PL 기반의 구조적 특징을 저차원의 구조적 임베딩으로 변환하기 위한 구조 인코더를 설계한다.
• 노드 특징과 구조적 임베딩을 모두 공통 잠재 공간으로 매핑하는 특징 융합 모듈을 도입한다.
• 융합된 임베딩을 메시지 전파를 위한 초기 노드 표현으로 사용하는 GNN 모델을 구축한다.
• 표현 학습을 향상시키기 위해 구조 인코더와 GNN을 종합 최적화를 통해 동시에 학습시킨다.
• 최종 GNN 출력과 대상 노드 간의 구조적 임베딩 유사도를 결합하여 최종 링크 예측을 수행한다.

실험 결과

연구 질문

• RQ1 대상 노드 주변의 위상적 구조가 노드 특징을 초월해 링크 예측 성능 향상에 효과적으로 인코딩될 수 있는가?
• RQ2 기존의 구조적 인코딩 기법인 DRNL과 비교해 제안된 경로 레이블링(PL) 방법이 의미 있는 구조 패턴을 얼마나 잘 포착하는가?
• RQ3 구조 인코더와 GNN을 공동으로 학습시키는 것이 별도 학습 또는 단순 연결보다 성능 향상에 기여하는가?
• RQ4 로컬 위상이 덜 구분 가능한 밀도가 높은 그래프에서 모델의 성능은 어떠한가?
• RQ5 이 프레임워크는 인용, 협업, 약물 상호작용 네트워크를 포함한 다양한 그래프 유형에 일반화 가능한가?

주요 결과

• SEG는 OGB 링크 예측 데이터셋 세 종류 모두에서 최신 기준 성능을 달성하였으며, ogbl-collab에서 Hits@50가 0.5535 ± 0.0039로, SEAL(0.5371 ± 0.0047)을 능가하였다.
• 절단 실험 결과, 구조 인코더와 GNN을 공동으로 학습시킨 SEG가 GNN만을 학습시킨 SEG-GNN보다 더 우수한 성능을 보였으며, 종단 간 최적화의 유용성을 입증하였다.
• SEG 프레임워크 내에서 DRNL을 PL로 대체한 SEG-DRNL은 원래의 SEAL보다 성능 향상을 보였으며, PL이 구조적 인코딩에 더 효과적임을 시사한다.
• SEG-DRNL은 ogbl-collab에서 원래의 SEAL보다 높은 Hits@50 성능을 기록하여, 다양한 구조적 인코딩을 사용하더라도 SEG 프레임워크의 효과성을 확인하였다.
• 밀도가 높은 ogbl-ddi 데이터셋에서도 SEG는 SEAL과 DE-GNN을 능가하지만, GCN과 GraphSAGE와 같은 표준 GNN보다는 뒤처졌다. 이는 밀도가 높은 그래프에서 국소적 위상 정보가 덜 유용해질 수 있음을 시사한다.
• 분석 결과, PL은 4개의 레이블 값만을 사용하는 반면, DRNL은 17개를 사용함을 확인하였으며, 이는 적은 수의 제약된 레이블이 노이즈를 감소시키고 일반화 성능을 향상시킨다는 것을 의미한다.