[논문 리뷰] Iteratively Learning Embeddings and Rules for Knowledge Graph Reasoning

Wen Zhang, Bibek Paudel외 6명|Zurich Open Repository and Archive (University of Zurich)|2019. 03. 21.

Advanced Graph Neural Networks참고 문헌 44인용 수 20

한 줄 요약

이 논문은 지식 그래프 임베딩과 논리적 규칙을 상호 강화 방식으로 반복적으로 학습하는 IterE라는 프레임워크를 제안한다. 임베딩을 통해 규칙 탐색을 유도하고, 규칙를 통해 희소한 개체 표현을 향상시킴으로써, AMIE+와 같은 최신 기법들보다 뛰어난 링크 예측 성능과 더 효율적이고 고급질의 규칙 생성을 달성한다.

ABSTRACT

Reasoning is essential for the development of large knowledge graphs, especially for completion, which aims to infer new triples based on existing ones. Both rules and embeddings can be used for knowledge graph reasoning and they have their own advantages and difficulties. Rule-based reasoning is accurate and explainable but rule learning with searching over the graph always suffers from efficiency due to huge search space. Embedding-based reasoning is more scalable and efficient as the reasoning is conducted via computation between embeddings, but it has difficulty learning good representations for sparse entities because a good embedding relies heavily on data richness. Based on this observation, in this paper we explore how embedding and rule learning can be combined together and complement each other's difficulties with their advantages. We propose a novel framework IterE iteratively learning embeddings and rules, in which rules are learned from embeddings with proper pruning strategy and embeddings are learned from existing triples and new triples inferred by rules. Evaluations on embedding qualities of IterE show that rules help improve the quality of sparse entity embeddings and their link prediction results. We also evaluate the efficiency of rule learning and quality of rules from IterE compared with AMIE+, showing that IterE is capable of generating high quality rules more efficiently. Experiments show that iteratively learning embeddings and rules benefit each other during learning and prediction.

연구 동기 및 목표

• 희귀 개체가 훈련 트리플 수가 적어 낮은 표현을 갖는다는 문제를 해결하기 위해 지식 그래프 임베딩 학습에서의 희소성 문제를 다루는 것.
• 잠재적 규칙 구조를 탐색할 때 막대한 탐색 공간을 가진다는 점에서 규칙 학습의 계산 비효율성 문제를 해결하는 것.
• 임베딩과 규칙이 상호 보완적으로 향상되는 공동 학습 프레임워크를 개발하여, 임베딩의 확장성과 규칙의 해석 가능성의 장점을 결합하는 것.
• 임베딩의 의미를 활용하여 규칙 탐색 공간을 줄이되, 높은 품질의 규칙 유도를 유지하는 프리닝 전략을 설계하는 것.

제안 방법

• IterE는 두 단계를 번갈아가며 작동한다: (1) TransE, ComplEx와 같은 선택된 임베딩 모델을 사용하여 기존 및 규칙 유도 트리플에서 개체 및 관계 임베딩을 학습하고, (2) OWL2 객체 속성 공리 기반의 의미론적 규칙 형식을 사용하여 현재 임베딩에서 새로운 규칙을 유도한다.
• 규칙 유도 과정에서 새로운 프리닝 전략을 적용하여 저신뢰도 또는 중복된 규칙을 조기에 걸러내어 탐색 공간을 크게 줄이며, 규칙 품질에 영향을 주지 않는다.
• 규칙는 신뢰도와 의미론적 타당성에 따라 평가되며, 신뢰도는 지식 그래프 내 지원 트리플 수에 기반하여 계산된다.
• 프레임워크는 새로 발견된 규칙을 지식 그래프에 다시 통합하여, 이후 임베딩 학습 반복에 활용할 수 있는 훈련 데이터를 풍부화시킨다.
• 이 방법은 다양한 임베딩 모델과 다양한 유형의 논리적 규칙을 지원하며, 특히 규칙 학습과의 호환성을 높이기 위해 선형 맵 가정 기반 규칙에 특화되어 있다.

실험 결과

연구 질문

• RQ1 임베딩 학습과 규칙 학습 간의 반복적 개선이 지식 그래프에서 희소한 개체의 표현 품질을 향상시키는가?
• RQ2 임베딩 기반 안내가 규칙 학습의 계산 비용을 줄이되, 규칙 품질을 유지하거나 향상시키는가?
• RQ3 임베딩과 규칙 간의 상호 피드백 루프가 각각 별개로 학습하는 것보다 더 나은 종합적 추론 성능을 이끌어내는가?
• RQ4 OWL2 공리 기반 의미론적 규칙의 통합은 유추된 지식의 품질과 해석 가능성에 어떤 영향을 미치는가?

주요 결과

• IterE는 규칙을 통해 추가적인 훈련 신호를 제공함으로써 희소한 개체의 링크 예측 성능을 크게 향상시켜 빈도가 높은 개체와 희귀 개체 간의 성능 격차를 줄였다.
• 효율적인 임베딩 기반 프리닝 덕분에 AMIE+보다 더 높은 품질의 규칙을 더 적은 계산 시간으로 생성하였다.
• 반복적 개선 과정을 통해 반복 횟수에 따라 임베딩 품질과 규칙 품질이 지속적으로 향상되어 두 구성 요소 간에 양성 피드백 루프가 존재함을 입증하였다.
• OWL2 기반 객체 속성 공리의 사용은 표준 지식 표현 원칙과 일치하는 의미적으로 유의미하고 해석 가능한 규칙을 발견하는 데 기여하였다.
• FB15k-237 및 기타 벤치마크에서의 실험 결과, 링크 예측 및 규칙 품질 지표 모두에서 단독 임베딩 및 규칙 학습 베이스라인보다 IterE가 뛰어난 성능을 보였다.