[논문 리뷰] Subgraph Neighboring Relations Infomax for Inductive Link Prediction on Knowledge Graphs

Xiaohan Xu, Peng Zhang외 3명|arXiv (Cornell University)|2022. 07. 28.

Advanced Graph Neural Networks인용 수 7

한 줄 요약

이 논문은 지식 그래프를 위한 새로운 인덕티브 링크 예측 모델인 Subgraph Neighboring Relations Infomax(SNRI)를 제안한다. SNRI는 완전한 이웃 관계 특징과 경로를 활용하여 미리 보지 않은 엔티티와 희박한 서브그래프에서의 일반화 능력을 향상시킨다. 상호정보량 최대화를 통한 전역적 관계 구조 모델링을 통합함으로써, 특히 밀도가 낮은 서브그래프에서 최신 기술보다 뛰어난 성능을 보이며, 종합적인 이웃 관계 활용의 효과성을 입증한다.

ABSTRACT

Inductive link prediction for knowledge graph aims at predicting missing links between unseen entities, those not shown in training stage. Most previous works learn entity-specific embeddings of entities, which cannot handle unseen entities. Recent several methods utilize enclosing subgraph to obtain inductive ability. However, all these works only consider the enclosing part of subgraph without complete neighboring relations, which leads to the issue that partial neighboring relations are neglected, and sparse subgraphs are hard to be handled. To address that, we propose Subgraph Neighboring Relations Infomax, SNRI, which sufficiently exploits complete neighboring relations from two aspects: neighboring relational feature for node feature and neighboring relational path for sparse subgraph. To further model neighboring relations in a global way, we innovatively apply mutual information (MI) maximization for knowledge graph. Experiments show that SNRI outperforms existing state-of-art methods by a large margin on inductive link prediction task, and verify the effectiveness of exploring complete neighboring relations in a global way to characterize node features and reason on sparse subgraphs.

연구 동기 및 목표

• 기존의 인덕티브 링크 예측 방법이 봉쇄 서브그래프에만 의존하고 완전한 이웃 관계를 간과하는 한계를 해결하기 위해.
• 기존 방법이 실패하는 희박하거나 빈 봉쇄 서브그래프에서의 성능 향상을 위해.
• 즉각적인 서브그래프를 초월한 완전한 관계적 맥락을 통합하여 엔티티 표현을 향상시키기 위해.
• 상호정보량 최대화를 통해 전역적으로 장거리 관계적 의존성을 모델링하기 위해.
• 지식 그래프에서 미리 보지 않은 엔티티와 희박한 서브그래프에서 강력한 인덕티브 추론을 달성하기 위해.

제안 방법

• SNRI는 각 삼중항에 대해 봉쇄 서브그래프를 추출하지만, 엔티티 표현을 위해 모든 이웃 관계를 유지한다.
• 완전한 관계적 이웃 영역을 기반으로 주의 메커니즘을 통해 이웃 관계 특징을 계산한다.
• 봉쇄 서브그래프 외부의 관계를 사용하여 이웃 관계 경로를 구성함으로써 희박한 서브그래프를 모델링한다.
• 지역적 서브그래프 표현과 전역 관계 경로 표현 간의 정렬을 위해 상호정보량 최대화를 적용한다.
• 지역적 서브그래프 모델링과 전역 관계 경로 학습을 동시에 최적화하기 위한 공동 학습 전략을 사용한다.
• 서브그래프 표현과 관계 경로 표현 간의 상호정보량을 최대화하는 대비 학습 목표를 사용한다.

실험 결과

연구 질문

• RQ1 봉쇄 서브그래프를 초월한 완전한 이웃 관계를 통합하면 인덕티브 링크 예측 성능이 향상되는가?
• RQ2 상호정보량 최대화가 인덕티브 추론을 위한 전역 관계 구조를 포착하는 데 얼마나 효과적인가?
• RQ3 봉쇄 서브그래프가 비어 있거나 최소한일 때 모델이 더 잘 일반화되는가?
• RQ4 이웃 관계 특징과 이웃 관계 경로 중 어느 것이 모델 성능 향상에 더 기여하는가?
• RQ5 모델은 인덕티브 추론을 위해 의미 있고 정보적인 관계 경로를 학습할 수 있는가?

주요 결과

• SNRI는 WN18RR v1과 v4에서 모두 최신 기술 성능을 달성하였으며, Hits@10 점수는 각각 87.23과 83.32를 기록하여 이전의 SOTA 방법을 능가했다.
• 저밀도 서브그래프에서 SNRI는 뚜렷한 성능 격차를 보이며, 특히 가장 희박한 범주에서 그 우수성이 확인되었다. 이는 희박성에 대한 강건성을 입증한다.
• 제거 실험 결과, 이웃 관계 특징을 제거하면 성능이 0.7% 감소하여 표현력 있는 노드 표현에서의 중요성을 입증한다.
• 이웃 관계 경로를 생략할 경우 성능 저하가 더 크며, 이는 희박한 서브그래프 처리에서의 핵심적 역할을 강조한다.
• 상호정보량 최대화를 제거하면 Hits@10 평균 점수가 1.7% 감소하여 전역 구조 모델링의 가치를 입증한다.
• 사례 연구 결과, SNRI는 의미 있는 관계 경로를 학습하며, (related_form, related_form, _also_see)와 같은 다중관계 경로에 더 높은 가중치를 할당함을 확인했다.