[논문 리뷰] Entity Context and Relational Paths for Knowledge Graph Completion.

Hongwei Wang, Hongyu Ren외 1명|arXiv (Cornell University)|2020. 02. 17.

Advanced Graph Neural Networks참고 문헌 49인용 수 32

한 줄 요약

PathCon는 간선 기반 메시지 전파를 통해 관계적 맥락을 모델링하고, 학습 가능한 어텐션 메커니즘을 사용하여 관계 경로를 활용함으로써 예측 정확도를 향상시키는 새로운 지식 그래프 완성 방법이다. 벤치마크에서 최신 기술을 초월하며, 각 예측에 대해 영향력 있는 관계와 경로를 식별함으로써 해석 가능한 설명을 제공한다.

ABSTRACT

Knowledge graph completion aims to predict missing relations between entities in a knowledge graph. While many different methods have been proposed, there is a lack of a unifying framework that would lead to state-of-the-art results. Here we develop PathCon, a knowledge graph completion method that harnesses four novel insights to outperform existing methods. PathCon predicts relations between a pair of entities by: (1) Considering the Relational Context of each entity by capturing the relation types adjacent to the entity and modeled through a novel edge-based message passing scheme; (2) Considering the Relational Paths capturing all paths between the two entities; And, (3) adaptively integrating the Relational Context and Relational Path through a learnable attention mechanism. Importantly, (4) in contrast to conventional node-based representations, PathCon represents context and path only using the relation types, which makes it applicable in an inductive setting. Experimental results on knowledge graph benchmarks as well as our newly proposed dataset show that PathCon outperforms state-of-the-art knowledge graph completion methods by a large margin. Finally, PathCon is able to provide interpretable explanations by identifying relations that provide the context and paths that are important for a given predicted relation.

연구 동기 및 목표

• 최신 기술 수준의 지식 그래프 완성에 대한 통합 프레임워크의 부족을 해결하기 위해.
• 엔티티 간의 관계적 맥락과 다단계 관계 경로를 모두 캡처하여 예측 정확도를 향상시키기 위해.
• 노드 전용 임베딩에 의존하지 않고 관계 유형만을 통해 맥락과 경로를 표현함으로써 인덕티브 학습을 가능하게 하기 위해.
• 각 예측에 대해 가장 영향력 있는 관계와 경로를 식별함으로써 설명 가능한 해석을 제공하기 위해.

제안 방법

• PathCon는 인접한 관계 유형을 인코딩하는 간선 기반 메시지 전파 방식을 사용하여 각 엔티티의 관계적 맥락을 모델링한다.
• 헤드와 테일 엔티티 쌍 사이의 가능한 모든 관계 경로를 관계 유형의 시퀀스로 표현한다.
• 학습 가능한 어텐션 메커니즘이 관계적 맥락과 관계 경로의 정보를 적응적으로 융합하여 최종 관계 예측을 생성한다.
• 맥락과 경로를 관계 유형만으로 표현함으로써 인덕티브 설정에서 작동하며, 예측 가능한 엔티티로의 일반화를 가능하게 한다.
• 예측 중 맥락과 경로 특징의 중요도를 가중치 부여하기 위해 미분 가능한 어텐션 메커니즘을 사용한다.
• 엔드 투 엔드로 훈련 가능한 아키텍처로, 표준 음성 샘플링과 랭킹 손실을 사용하여 링크 예측을 최적화한다.

실험 결과

연구 질문

• RQ1 관계적 맥락과 다단계 관계 경로를 통합하면 지식 그래프 완성 성능이 향상되는가?
• RQ2 학습 가능한 메커니즘을 사용하여 관계적 맥락과 관계 경로를 효과적으로 통합할 수 있는가?
• RQ3 관계 유형만을 기반으로 한 방법이 인덕티브 학습 설정에서 강력한 성능을 달성할 수 있는가?
• RQ4 예측에 대해 핵심 관계와 경로를 식별함으로써 모델이 설명 가능한 해석을 제공할 수 있는가?

주요 결과

• PathCon은 표준 지식 그래프 완성 벤치마크에서 최신 기술을 압도적으로 뛰어넘는 최고 성능을 달성한다.
• 맥락과 경로를 관계 유형만으로 표현함으로써 인덕티브 설정에서 뛰어난 일반화 능력을 보여준다.
• 어텐션 메커니즘이 각 예측에 대해 가장 관련성이 높은 관계와 경로를 효과적으로 식별하고 우선순위를 정함으로써 설명 가능한 해석을 가능하게 한다.
• 신규로 제안된 데이터셋에서의 실험을 통해 PathCon이 다양한 지식 그래프 구조에 걸쳐 강건하고 확장 가능한 것으로 확인되었다.
• 제거 실험 결과, 관계적 맥락과 관계 경로 모두가 성능 향상에 기여하며, 어텐션 메커니즘이 최적의 융합을 제공하는 것으로 나타났다.