[논문 리뷰] Link Prediction on N-ary Relational Facts: A Graph-based Approach

Quan Wang, Haifeng Wang외 2명|arXiv (Cornell University)|2021. 05. 18.

Advanced Graph Neural Networks참고 문헌 39인용 수 5

한 줄 요약

이 논문은 각 사실을 이질적 그래프로 모델링하고, 엣지에 가중치가 부여된 완전 연결형 어텐션을 사용하여 국소적 및 전반적 종속성을 포착함으로써 n-진 관계 사실에 대한 링크 예측을 위한 그래프 기반 접근법인 GRAN을 제안한다. GRAN은 다양한 n-진 링크 예측 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하여 복잡한 다중 엔터티 관계 구조를 모델링하는 데 있어 뛰어난 효과성을 입증한다.

ABSTRACT

Link prediction on knowledge graphs (KGs) is a key research topic. Previous work mainly focused on binary relations, paying less attention to higher-arity relations although they are ubiquitous in real-world KGs. This paper considers link prediction upon n-ary relational facts and proposes a graph-based approach to this task. The key to our approach is to represent the n-ary structure of a fact as a small heterogeneous graph, and model this graph with edge-biased fully-connected attention. The fully-connected attention captures universal inter-vertex interactions, while with edge-aware attentive biases to particularly encode the graph structure and its heterogeneity. In this fashion, our approach fully models global and local dependencies in each n-ary fact, and hence can more effectively capture associations therein. Extensive evaluation verifies the effectiveness and superiority of our approach. It performs substantially and consistently better than current state-of-the-art across a variety of n-ary relational benchmarks. Our code is publicly available.

연구 동기 및 목표

• 실세계 지식 그래프에서 흔한 n-진 관계 사실에 초점을 맞춘 링크 예측 연구의 격차를 해소하기 위해.
• 기존 방법들이 속성을 동일하게 취급하거나 독립적으로 모델링하여 n-진 사실 내부의 내재된 의미적 관계를 忽시하는 한계를 극복하기 위해.
• n-진 사실의 전체 의미를 유지하기 위해 이를 구조화된 이질적 그래프로 표현함으로써 통합된 프레임워크를 개발하기 위해.
• n-진 사실 내부의 국소적(정점 수준) 및 전반적(그래프 수준) 종속성을 효과적으로 모델링하여 링크 예측 성능을 향상시키기 위해.
• 새로운 종합적인 그래프 학습 접근법을 통해 n-진 링크 예측의 새로운 최신 기술 수준(SOTA)을 수립하기 위해.

제안 방법

• 각 n-진 사실을 주체(주어), 목적어(목적어), 값(값), 관계(관계), 속성(속성)을 정점으로 하고, 네 가지 엣지 유형(주체-관계, 목적어-관계, 관계-속성, 속성-값)을 갖는 이질적 그래프로 표현하기.
• 그래프 내 모든 노드 간의 보편적 상호작용을 모델링하기 위해 완전 연결형 어텐션 메커니즘을 적용하기.
• 구조적 특성과 이질성에 특화된 정보를 인코딩하기 위해 엣지 인식 어텐션 바이어스를 도입하여 모델의 그래프 구조 민감도를 향상시키기.
• 결과로 생성된 그래프 인코딩 표현을 사용하여 주요 삼중항의 타당성과 보조 속성-값 쌍과의 호환성을 평가함으로써 누락된 링크를 예측하기.
• 별도의 그래프 인코더를 제거하고, 디코딩 단계에서 어텐션 메커니즘의 표현력을 활용함으로써 계산 오버헤드를 줄이기 위해 아키텍처를 설계하기.
• 표준 링크 예측 손실 함수를 사용하여 엣지 유형과 노드 상호작용에 기반해 동적으로 조정되는 어텐션 가중치를 포함한 엔드 투 엔드로 모델을 훈련하기.

실험 결과

연구 질문

• RQ1 그래프 기반 접근법이 n-진 관계 사실의 전체 구조적 및 의미적 복잡성을 링크 예측에 효과적으로 모델링할 수 있는가?
• RQ2 n-진 사실 내부의 국소적 및 전반적 종속성을 동시에 모델링하는 것이 속성을 독립적으로 취급하는 방법에 비해 링크 예측 성능을 얼마나 향상시키는가?
• RQ3 엣지 인식 어텐션 바이어스를 통합할 경우, n-진 사실 내 이질성과 구조적 패턴을 포착하는 데 모델의 능력이 얼마나 향상되는가?
• RQ4 제안된 GRAN 프레임워크가 다양한 n-진 링크 예측 벤치마크에서 기존 최신 기술 수준(SOTA) 방법을 초월하는가?
• RQ5 GRAN은 엔터티 및 관계 수가 다양한 n-진 사실에 대해 얼마나 강건한가?

주요 결과

• GRAN은 다양한 n-진 관계 링크 예측 벤치마크에서 현재 최신 기술 수준(SOTA) 방법을 일관되고 현저하게 뛰어넘으며 새로운 SOTA를 수립한다.
• 모델은 엔터티 간 국소적 상호작용과 전체 n-진 사실 구조에 걸친 전반적 종속성을 포착함으로써 성능 향상을 크게 달성한다.
• 엣지 인식 어텐션 바이어스의 통합은 그래프의 이질성과 연결 패턴을 보다 잘 모델링하여 더 나은 표현 학습을 이끌어낸다.
• 별도의 그래프 인코더를 생략하고 어텐션 기반 디코딩에 의존함으로써 계산 비용을 줄이면서도 높은 성능를 유지하는 GRAN의 설계는 효율성을 입증한다.
• 모델은 마리아 큐리, 노벨상, 공동 수상자 등과 같은 5-진 사실과 같은 복잡한 n-진 사실을 효과적으로 모델링하여 의미적 풍부함과 관계 연관성을 유지한다.
• 고차원의 사실과 복잡한 속성-값 관계를 포함한 다양한 벤치마크에서도 잘 일반화되며, 우수한 일반화 능력을 보인다.