[논문 리뷰] Joint Semantics and Data-Driven Path Representation for Knowledge Graph Inference

Guanglin Niu, Bo Li외 5명|arXiv (Cornell University)|2020. 10. 06.

Advanced Graph Neural Networks참고 문헌 34인용 수 4

한 줄 요약

이 논문은 지식 그래프 추론을 위한 통합적 의미론적 및 데이터 기반 경로 표현 모델을 제안하며, 설명 가능한 히어로르 규칙 기반 경로 조합과 실체 변환기(Converter)를 결합하여 실체와 관계 간의 이질성을 감소시킨다. 의미론적 경로 압축과 주의력 기반 표현 학습을 통합함으로써, 링크 예측 및 경로 질의 답변에서 최신 기술(SOTA) 수준의 성능을 달성하였으며, NELL-995에서 Hits@1이 0.987을 기록하였다.

ABSTRACT

Inference on a large-scale knowledge graph (KG) is of great importance for KG applications like question answering. The path-based reasoning models can leverage much information over paths other than pure triples in the KG, which face several challenges: all the existing path-based methods are data-driven, lacking explainability for path representation. Besides, some methods either consider only relational paths or ignore the heterogeneity between entities and relations both contained in paths, which cannot capture the rich semantics of paths well. To address the above challenges, in this work, we propose a novel joint semantics and data-driven path representation that balances explainability and generalization in the framework of KG embedding. More specifically, we inject horn rules to obtain the condensed paths by the transparent and explainable path composition procedure. The entity converter is designed to transform the entities along paths into the representations in the semantic level similar to relations for reducing the heterogeneity between entities and relations, in which the KGs both with and without type information are considered. Our proposed model is evaluated on two classes of tasks: link prediction and path query answering task. The experimental results show that it has a significant performance gain over several different state-of-the-art baselines.

연구 동기 및 목표

• 데이터 기반 경로 기반 지식 그래프 추론 모델에서 설명 가능성의 부족을 해결한다.
• 기존 방법이 경로 표현에서 실체와 관계를 비대칭적으로 취급하는 한계를 극복한다.
• 지식 그래프 내 의미론적 패턴과 데이터 기반 패턴을 함께 모델링하여 경로 표현을 향상시킨다.
• 히어로르 규칙를 통한 투명한 규칙 기반 경로 조합을 통해 인간이 이해할 수 있는 추론을 가능하게 한다.
• 통일된 실체 변환 전략을 통해 실체 유형 정보가 있는지 여부에 관계없이 지식 그래프를 지원한다.

제안 방법

• 경로를 투명한 경로 조합을 통해 압축되고 설명 가능한 관계로 조합하기 위해 히어로르 규칙을 사용한다.
• 경로의 실체를 관계와 유사한 의미론적 표현으로 매핑하여 이질성을 감소시키는 실체 변환기를 설계한다.
• 유형 정보가 있는 지식 그래프를 위한 주의력 기반 실체-유형 변환 모듈과 없는 경우를 위한 투영 모듈을 구현한다.
• 실체와 관계의 순서를 기반으로 경로 표현을 학습하기 위해 이중 방향 경로 인코더를 사용한다.
• 실체 쌍 간의 다수의 경로 표현을 융합하여 임베딩 품질을 향상시킨다.
• 이동 거리와 의미적 유사도를 모두 포함하는 마진 기반 손실 함수를 사용해 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 통합적 의미론적 및 데이터 기반 경로 표현이 지식 그래프 추론에서 설명 가능성과 성능을 향상시킬 수 있는가?
• RQ2 경로에 실체와 관계를 모두 포함할 경우, 관계 전용 모델에 비해 경로 표현 품질에 어떤 영향을 미치는가?
• RQ3 히어로르 규칙가 정확한 추론을 위해 투명한 규칙 기반 경로 조합을 얼마나 효과적으로 가능하게 하는가?
• RQ4 제안된 실체 변환 전략이 경로 표현에서 실체와 관계 간의 이질성을 얼마나 효과적으로 감소시키는가?
• RQ5 모델이 실체 유형 정보가 있는지 여부에 관계없이 일반화하여 잘 작동하는가?

주요 결과

• 모델은 NELL-995 데이터셋에서 경로 질의 답변에 대해 Hits@1 점수 0.987을 기록하여 정확도 98.7%를 달성하였다.
• 링크 예측 및 경로 질의 답변 모두에서 PTransE 및 TransE를 포함한 최신 기술(SOTA) 기반 모델들을 지속적으로 능가하였다.
• 히어로르 규칙 기반 경로 조합은 인간이 이해할 수 있는 추론을 가능하게 하였으며, 한 예에서는 신뢰도 1인 규칙을 통해 정확한 관계를 추론한 바가 있다.
• 실체 변환 전략은 실체와 관계 간의 이질성을 효과적으로 감소시켜 경로 표현 학습을 향상시켰다.
• 실체 쌍 간의 다수 경로 표현 융합은 더 견고하고 정확한 임베딩을 도출하는 데 기여하였다.
• 모델는 실체 유형 정보가 있는지 여부에 관계없이 뛰어난 일반화 능력을 보였다.