[논문 리뷰] Knowledge Graph Embedding with Iterative Guidance from Soft Rules

Shu Guo, Quan Wang외 3명|arXiv (Cornell University)|2017. 11. 30.

Advanced Graph Neural Networks참고 문헌 39인용 수 23

한 줄 요약

이 논문은 관측된 삼중항, 미해결 삼중항에 대한 예측 레이블, 그리고 다양한 신뢰도 수준을 가진 자동으로 추출된 소프트 규칙을 함께 학습함으로써 반복적으로 엔티티 및 관계 표현을 개선하는 지식 그래프 임베딩 프레임워크인 RUGE를 제안한다. 이 방법은 임베딩 학습과 규칙 유도 추론 간의 반복 피드백을 활용하여 Freebase와 YAGO에서 링크 예측 작업에서 최신 기준 성능을 달성한다.

ABSTRACT

Embedding knowledge graphs (KGs) into continuous vector spaces is a focus of current research. Combining such an embedding model with logic rules has recently attracted increasing attention. Most previous attempts made a one-time injection of logic rules, ignoring the interactive nature between embedding learning and logical inference. And they focused only on hard rules, which always hold with no exception and usually require extensive manual effort to create or validate. In this paper, we propose Rule-Guided Embedding (RUGE), a novel paradigm of KG embedding with iterative guidance from soft rules. RUGE enables an embedding model to learn simultaneously from 1) labeled triples that have been directly observed in a given KG, 2) unlabeled triples whose labels are going to be predicted iteratively, and 3) soft rules with various confidence levels extracted automatically from the KG. In the learning process, RUGE iteratively queries rules to obtain soft labels for unlabeled triples, and integrates such newly labeled triples to update the embedding model. Through this iterative procedure, knowledge embodied in logic rules may be better transferred into the learned embeddings. We evaluate RUGE in link prediction on Freebase and YAGO. Experimental results show that: 1) with rule knowledge injected iteratively, RUGE achieves significant and consistent improvements over state-of-the-art baselines; and 2) despite their uncertainties, automatically extracted soft rules are highly beneficial to KG embedding, even those with moderate confidence levels. The code and data used for this paper can be obtained from https://github.com/iieir-km/RUGE.

연구 동기 및 목표

• 지식 그래프 임베딩에서 일회성 규칙 주입의 한계를 해결하기 위해, 임베딩 모델과 논리적 규칙 간의 상호작용 피드백을 활용하지 못하는 문제를 해결한다.
• 일반적으로 수작업으로 정제가 필요한 예외 없는 하드 규칙에만 의존하기보다는, 불확실성 또는 신뢰도 수준을 가진 소프트 규칙의 유용성을 탐색한다.
• 미해결 삼중항에 대한 소프트 레이블을 번갈아가며 예측하고, 라벨이 부여된 삼중항과 규칙 기반 예측을 함께 사용하여 임베딩를 업데이트하는 공동 학습 프레임워크를 설계한다.
• 실험적으로 반복적으로 사용할 경우, 중간 정도의 신뢰도를 가진 소프트 규칙조차도 임베딩 품질을 크게 향상시킬 수 있음을 검증한다.
• 지식 그래프 임베딩의 링크 예측 작업에서 반복적인 규칙 지식 통합이 최신 기준 베이스라인에 비해 일관되고 뚜렷한 성능 향상을 이끌어내는지 입증한다.

제안 방법

• RUGE는 반복마다 두 단계를 번갈아 수행한다: (1) 현재 임베딩 및 추출된 소프트 규칙을 사용한 소프트 레이블 예측, (2) 라벨이 부여된 삼중항과 규칙 기반 예측된 미해결 삼중항을 함께 최적화하여 임베딩를 정정한다.
• 소프트 규칙는 규칙 추출 기법을 사용해 지식 그래프에서 자동으로 추출되며, 신뢰도를 반영한 신뢰도 점수를 부여받는다.
• 모델은 소프트 레이블을 확률적 지도로 간주하여 학습 목표에 통합함으로써, 규칙 기반 예측의 불확실성을 최적화 과정 동안 유지한다.
• 임베딩 학습은 관측된 삼중항과 규칙 기반 예측에서 유도된 레이블의 지도를 조합한 미분 가능한 손실 함수를 통해 수행되며, 경사 하강법을 사용한 엔드 투 엔드 학습을 가능하게 한다.
• ComplEx, PTransE, KALE와 같은 기존 지식 그래프 임베딩 모델과 호환되어 다양한 아키텍처에 쉽게 통합될 수 있다.
• 규칙 신뢰도 임계값은 정보성은 있지만 불확실성이 높은 규칙과 잡음이 많은 규칙 사이의 균형을 맞추기 위해 튜닝되며, FB15K에서 최적 성능은 0.8에서 관찰된다.

실험 결과

연구 질문

• RQ1 일회성 규칙 주입을 넘어서 반복적인 소프트 규칙 통합이 지식 그래프 임베딩 성능 향상에 기여할 수 있는가?
• RQ2 특히 중간 정도의 신뢰도를 가진 자동으로 추출된 소프트 규칙은 하드 규칙에 비해 임베딩 품질 향상에 얼마나 효과적인가?
• RQ3 임베딩 예측과 규칙 기반 레이블 정밀화 간의 피드백 루프가 다양한 지식 그래프에서 일관된 성능 향상을 이끌어내는가?
• RQ4 규칙 신뢰도 임계값이 최종 임베딩 품질과 모델의 강건성에 미치는 영향은 무엇인가?
• RQ5 RUGE의 계산 비용은 기존의 규칙 주입 및 기본 베이스라인 임베딩 모델에 비해 어떻게 비교되는가?

주요 결과

• RUGE는 최고의 베이스라인인 ComplEx 대비 FB15K에서 MRR에 11% 상대적 향상과 HITS@1에 18% 향상을 기록한다.
• YAGO37에서는 ComplEx 대비 MRR에 3% 향상되고 HITS@1에 6% 향상되어 데이터셋 간 일관된 성능 향상을 보였다.
• 신뢰도 수준이 0.35조차도 소프트 규칙이 유의미한 성능 향상을 제공함을 시사하며, 규칙의 불확실성이 그 유용성을 제한하지는 않음을 시사한다.
• FB15K에서 최적의 규칙 신뢰도 임계값은 0.8이며, 이 시점에서 성능이 최고조에 이르렀다. 이하의 임계값은 잡음을 유도하고, 이하의 임계값은 규칙 커버리지가 감소한다.
• RUGE의 반복당 학습 시간은 FB15K에서 11.4초에서 14.1초로, YAGO37에서는 49.5초에서 55.2초로만 약간 증가하였으며, 규칙 기반 지도를 통합함에도 불구하고 계산 오버헤드는 최소한으로 유지되었다.
• 사전 처리 단계(규칙/경로 추출 및 문장화)는 효율적이며, 특히 YAGO37에서 PTransE의 접근 방식보다 훨씬 적은 시간이 소요되었다.