[논문 리뷰] Rule-Guided Compositional Representation Learning on Knowledge Graphs

Guanglin Niu, Yongfei Zhang외 5명|arXiv (Cornell University)|2019. 11. 20.

Advanced Graph Neural Networks참고 문헌 43인용 수 7

한 줄 요약

이 논문은 지식 그래프 임베딩 프레임워크인 규칙 및 경로 기반 공동 임베딩(RPJE)을 제안한다. 이는 논리 규칙과 경로를 통합하여 표현 학습의 정확성과 해석 가능성 모두를 향상시킨다. 다양한 길이의 허른 규칙을 추출하고, 이를 사용해 경로 표현을 구성하며, 신뢰도 점수를 활용해 관계 임베딩을 제약함으로써 RPJE는 KG 완성 작업에서 최신 기술 수준(SOTA) 성능을 달성하여 FB15K-237에서 MRR 기준으로 기준 모델 대비 최대 29.5% 향상되었다.

ABSTRACT

Representation learning on a knowledge graph (KG) is to embed entities and relations of a KG into low-dimensional continuous vector spaces. Early KG embedding methods only pay attention to structured information encoded in triples, which would cause limited performance due to the structure sparseness of KGs. Some recent attempts consider paths information to expand the structure of KGs but lack explainability in the process of obtaining the path representations. In this paper, we propose a novel Rule and Path-based Joint Embedding (RPJE) scheme, which takes full advantage of the explainability and accuracy of logic rules, the generalization of KG embedding as well as the supplementary semantic structure of paths. Specifically, logic rules of different lengths (the number of relations in rule body) in the form of Horn clauses are first mined from the KG and elaborately encoded for representation learning. Then, the rules of length 2 are applied to compose paths accurately while the rules of length 1 are explicitly employed to create semantic associations among relations and constrain relation embeddings. Besides, the confidence level of each rule is also considered in optimization to guarantee the availability of applying the rule to representation learning. Extensive experimental results illustrate that RPJE outperforms other state-of-the-art baselines on KG completion task, which also demonstrate the superiority of utilizing logic rules as well as paths for improving the accuracy and explainability of representation learning.

연구 동기 및 목표

• 기존의 지식 그래프 임베딩 방법이 단지 희소한 삼중구조에 의존하고 경로 기반 학습에서 해석 가능성이 부족한 점을 해결하기 위해.
• 신경망 기반 경로 표현과 상징적 논리 규칙을 통합하여 지식 그래프 임베딩의 정확성과 해석 가능성을 향상시키기 위해.
• 다양한 길이(1 및 2)의 규칙을 통합하여 기울기 기반 최적화와 신뢰도 인식 방식으로 경로 조합 및 관계 연관을 유도하는 통합 프레임워크를 개발하기 위해.
• 표준 지식 그래프 완성 벤치마크에서 규칙 유도 경로 조합과 관계 제약가 성능 향상에 기여함을 실증적으로 검증하기 위해.

제안 방법

• 지식 그래프에서 다양한 길이(1 및 2)의 허른 절단을 추출하여 논리적 의존성과 의미적 제약을 포착하기 위해.
• 길이 2 규칙을 이용해 규칙 기반 경로 조합을 통해 경로 표현을 구성함으로써 무작위 초기화를 대체하고 오류 전파를 감소시키기 위해.
• 길이 1 규칙을 사용해 잠재 공간 내에서 관계 임베딩을 명시적으로 제약하여 관련 관계 간의 의미 일致성을 강제하기 위해.
• 최적화 목표에 규칙 신뢰도 점수를 통합하여 학습 중에 신뢰할 수 있는 논리적 제약을 우선시하기 위해.
• 삼중구조 예측, 경로 조합, 규칙 기반 관계 제약를 통합한 공동 손실 함수를 제안하여 엔드 투 엔드 학습을 가능하게 하기 위해.
• 규칙 활성화 경로를 사용해 정확한 엔티티 예측을 생성하는 기울기 기반 경로 조합 메커니즘을 적용하기 위해.

실험 결과

연구 질문

• RQ1 다양한 길이의 논리 규칙을 신경 기반 지식 그래프 임베딩 프레임워크에 효과적으로 통합하여 정확성과 해석 가능성을 향상시킬 수 있는가?
• RQ2 규칙 유도 경로 조합은 기존의 수치 기반 경로 조합 대비 표현 품질과 오류 전파 측면에서 어떻게 비교되는가?
• RQ3 신뢰도 인식 규칙 제약는 잠재 공간 내에서 관계 임베딩의 정렬을 어느 정도 향상시키는가?
• RQ4 규칙과 경로의 통합은 다양한 지식 그래프 벤치마크에서 희소성과 관계 복잡성이 상이한 환경에서도 일관된 성능 향상을 이끌어내는가?
• RQ5 경로 조합과 규칙에 의한 관계 제약 중 어느 것이 지식 그래프 완성 성능 향상에 더 큰 기여를 하는가?

주요 결과

• FB15K-237에서 RPJE는 PTransE 대비 MRR 29.5% 향상되고, KB-LRN 대비 Hits@10 26.8% 향상되었다.
• WN18에서 RPJE는 MRR 0.946과 Hits@10 95.1%를 기록하여 RUGE(MRR: 0.943, Hits@10: 94.4%)와 TransE(MRR: 0.495, Hits@10: 93.4%)를 모두 앞섰다.
• NELL-995에서 RPJE는 MRR 0.361과 Hits@10 50.1%를 기록하여 다음으로 우수한 베이스라인인 RUGE(MRR 0.318, Hits@10 43.3%)를 크게 앞섰다.
• 제거 실험 결과 경로 조합 및 길이 2 규칙 제거 시 성능이 크게 하락함(MRR 0.816 → 0.453)하여 이들이 핵심적인 역할을 한다는 것을 확인했다.
• 길이 1 규칙 제거 시에도 성능 저하가 발생함(MRR 0.816 → 0.812)하여 의미적 제약을 통해 관계 임베딩을 정교화하는 데 기여한다는 점을 입증했다.
• 사례 연구를 통해 RPJE는 활성화된 규칙과 신뢰도 점수를 통해 설명 가능한 예측을 제공함을 확인했으며, 예를 들어 'FilmLanguage' 예측에 대해 0.81의 신뢰도 경로를 활용한 바 있다.