[논문 리뷰] Instance-based Learning for Knowledge Base Completion

Wanyun Cui, Xingran Chen|arXiv (Cornell University)|2022. 11. 13.

Semantic Web and Ontologies인용 수 4

한 줄 요약

이 논문은 지식 그래프 보완을 위한 인스턴스 기반 학습(IBL)을 소개한다. 여기서 예측은 공통된 관계적 성질을 공유하는 프로토타입 엔티티를 식별함으로써 이루어지며, 예를 들어 조 바이든을 프로토타입으로 삼아 질 빌라인의 거주 도시를 추론한다. IBL은 최신 기술 수준의 성능을 달성하며, 규칙 기반 모델이 의미적 호환성에 의존한다는 오랜 믿음을 뒤집는다. 실제로 규칙 기반 모델은 인스턴스 기반 동치성(prototype-based equivalence)을 나타내는 IBL 규칙에 크게 의존한다.

ABSTRACT

In this paper, we propose a new method for knowledge base completion (KBC): instance-based learning (IBL). For example, to answer (Jill Biden, lived city,? ), instead of going directly to Washington D.C., our goal is to find Joe Biden, who has the same lived city as Jill Biden. Through prototype entities, IBL provides interpretability. We develop theories for modeling prototypes and combining IBL with translational models. Experiments on various tasks confirmed the IBL model's effectiveness and interpretability. In addition, IBL shed light on the mechanism of rule-based KBC models. Previous research has generally agreed that rule-based models provide rules with semantically compatible premises and hypotheses. We challenge this view. We begin by demonstrating that some logical rules represent {\it instance-based equivalence} (i.e. prototypes) rather than semantic compatibility. These are denoted as {\it IBL rules}. Surprisingly, despite occupying only a small portion of the rule space, IBL rules outperform non-IBL rules in all four benchmarks. We use a variety of experiments to demonstrate that rule-based models work because they have the ability to represent instance-based equivalence via IBL rules. The findings provide new insights of how rule-based models work and how to interpret their rules.

연구 동기 및 목표

• 기존 임bedding 및 규칙 기반 모델의 한계를 피하는 새로운 해석 가능한 지식 그래프 보완(KBC) 방법을 개발한다.
• 이동 모델에서 유도된 프로토타입을 사용하여 KBC 맥락에서 인스턴스 기반 학습(IBL)을 형식화한다.
• IBL이 규칙 기반 KBC에서 수행하는 역할을 조사하고, 규칙 기반 모델이 의미적 호환성에 의존한다는 가정을 도전한다.
• IBL 규칙(인스턴스 기반 동치성 표현)이 규칙 공간의 작은 부분을 차지함에도 불구하고 비-IBL 규칙보다 성능이 뛰어나다는 것을 입증한다.
• IBL과 이동 모델 간의 공동 최적화 프레임워크를 구축하여 KBC 성능 향상을 도모한다.

제안 방법

• IBL 모델은 질의 헤드 엔티티와 동일한 관계 값을 공유하는 프로토타입 엔티티를 식별한다. 예를 들어, '거주 도시' 관계에서 조 바이든은 질 빌라인에 대한 프로토타입이 된다.
• 프로토타입은 이동 모델 기반의 폐쇄형 표현식을 사용하여 유도되며, 이는 효율적이고 해석 가능한 추론을 가능하게 한다.
• IBL과 이동 모델을 통합하기 위한 공동 최적화 이론을 개발하여 두 모델의 최적화 목표를 일치시켜 성능 향상을 도모한다.
• 규칙 기반 모델의 성능 평가를 위해 제거 분석을 실시하여 IBL 규칙와 비-IBL 규칙의 기여도를 독립적으로 평가한다.
• RNNLogic에서 규칙 수집을 수정하여 IBL 대비 비-IBL 규칙를 제어함으로써 규칙 품질과 성능를 직접 비교할 수 있도록 한다.
• 이론적 분석을 통해 지식 그래프의 저랭크 가정이 의미 있는 프로토타입 존재를 지지함을 보여주며, IBL 접근법의 타당성을 입증한다.

실험 결과

연구 질문

• RQ1 인스턴스 기반 학습(IBL)이 기존 지식 그래프 보완 방법에 비해 효과적이고 해석 가능한 대안이 될 수 있는가?
• RQ2 IBL의 프로토타입은 이동 모델을 기반으로 어떻게 형식화할 수 있으며, 그 폐쇄형 해는 무엇인가?
• RQ3 IBL 규칙는 규칙 기반 KBC에서 어떤 역할을 하는가? 의미적 호환성에 기반한 규칙보다 성능이 뛰어나게 되는가?
• RQ4 규칙 공간에서 매우 작은 비중을 차지함에도 불구하고 IBL 규칙가 성능을 지배하는 이유는 무엇인가?
• RQ5 IBL는 이동 모델과 통합되어 KBC 성능 향상에 기여할 수 있는가? 이러한 통합의 이론적 근거는 무엇인가?

주요 결과

• IBL 규칙(인스턴스 기반 동치성 표현)은 네 가지 벤치마크에서 비-IBL 규칙를 모두 압도하며, FB15k-237와 WN18RR에서 각각 49.9의 hit@10 점수를 기록한다.
• Kinship 및 UMLS 벤치마크에서는 오직 IBL 규칙만을 사용해도 성능 저하가 없으며, Kinship에서 96.6% H@10, UMLS에서 94.7% H@10의 성능을 달성한다.
• 규칙 공간의 작은 비중을 차지함에도 불구하고, IBL 규칙는 평균 정밀도(3.7% 대 1.7%)와 지지도(708.3 대 281.4)에서 비-IBL 규칙보다 뚜렷이 높은 성능을 보인다.
• IBL과 이동 모델의 통합 모델은 네 가지 벤치마크 중 두 곳에서 기존 방법을 초월하며, 공동 최적화의 효과성을 입증한다.
• 제안된 IBL 모델인 CIBLE은 네 가지 벤치마크 중 세 곳에서 RNNLogic를 능가하며, IBL이 규칙 기반 모델에 비해 인스턴스 기반 동치성을 모델링하는 데 더 효과적인 대안임을 보여준다.
• 본 연구는 규칙 기반 모델이 의미적 호환성에 의해 작동한다는 일반적인 견해를 도전하며, 실제로는 IBL 규칙를 통한 인스턴스 기반 동치성 표현이 주요 기능임을 입증한다.