[논문 리뷰] BoxE: A Box Embedding Model for Knowledge Base Completion

Ralph Abboud, İsmail İlkan Ceylan외 2명|arXiv (Cornell University)|2020. 07. 13.

Topic Modeling참고 문헌 45인용 수 27

한 줄 요약

BoxE는 잠재 공간 내에서 개체를 점으로, 관계를 초직사각형(박스)으로 표현하는 새로운 상자 임베딩 모델로, 완전한 표현력과 논리 규칙 지원, 고차원 관계를 모두 구현한다. 이는 지식 기반 완성 벤치마크에서 최고 성능을 기록하며, 규칙 주입으로 인해 뚜렷한 성능 향상을 보이며, 기하학적 인코딩을 통해 개체 클래스와 관계 유형의 해석 가능성도 높인다.

ABSTRACT

Knowledge base completion (KBC) aims to automatically infer missing facts by exploiting information already present in a knowledge base (KB). A promising approach for KBC is to embed knowledge into latent spaces and make predictions from learned embeddings. However, existing embedding models are subject to at least one of the following limitations: (1) theoretical inexpressivity, (2) lack of support for prominent inference patterns (e.g., hierarchies), (3) lack of support for KBC over higher-arity relations, and (4) lack of support for incorporating logical rules. Here, we propose a spatio-translational embedding model, called BoxE, that simultaneously addresses all these limitations. BoxE embeds entities as points, and relations as a set of hyper-rectangles (or boxes), which spatially characterize basic logical properties. This seemingly simple abstraction yields a fully expressive model offering a natural encoding for many desired logical properties. BoxE can both capture and inject rules from rich classes of rule languages, going well beyond individual inference patterns. By design, BoxE naturally applies to higher-arity KBs. We conduct a detailed experimental analysis, and show that BoxE achieves state-of-the-art performance, both on benchmark knowledge graphs and on more general KBs, and we empirically show the power of integrating logical rules.

연구 동기 및 목표

• 기존 지식 기반 완성(KBC) 모델의 핵심 한계인 이론적 표현력 부족, 논리 규칙 지원 부족, 고차원 관계 처리 부실 문제를 해결하기 위해.
• 완전한 표현력, 규칙 주입, 고차원 지식 기반으로의 일반화를 동시에 지원하는 모델을 개발하기 위해.
• 계층 구조, 상호 배타성, 대칭성 등의 자연스러운 논리 추론 패턴을 기하학적 상자 표현을 통해 자연스럽게 인코딩하기 위해.
• 상자 임베딩을 통한 논리 규칙 통합이 KBC 성능 향상과 학습 수렴에 실질적인 기여를 하는지 경험적으로 검증하기 위해.

제안 방법

• 개체는 d차원 점으로 임베딩되고, 관계는 d차원 초직사각형(박스)으로 표현되며, 이는 논리적 성질을 공간적으로 인코딩한다.
• 사실 r(e1,…,en)은 개체 점 임베딩과 해당 관계 박스 간의 기하학적 관계를 포함도 및 거리 기준으로 평가하여 점수를 매긴다.
• 정확한 사실은 관계 박스 내부에, 위조된 사실은 외부에 있도록 유도하는 미분 가능한 손실 함수를 사용하여 엔드 투 엔드 학습이 가능하다.
• 논리 규칙은 박스 매개변수를 논리 함의를 만족하도록 제약하여 주입한다. 예를 들어 포함관계(A ⊆ B)나 상호 배타성(A ∩ B = ∅) 등.
• n차원 관계로 일반화하여 고차원 관계를 지원하며, 각 인자 위치에 대해 헤드 및 테일 박스를 별도로 정의한다.
• 하이퍼볼릭 tangent 함수를 통한 정규화로 임베딩를 [−1, 1]^d로 매핑하여, 이해 가능성과 안정성을 확보하기 위해 박스 부피를 유한하게 유지한다.

실험 결과

연구 질문

• RQ1 상자 기반 임베딩 모델은 기하학적 표현을 통해 기존 이동 기반 모델의 이론적 표현력 부족 문제를 해결하고, 지식 기반 완성에서 완전한 표현력을 달성할 수 있는가?
• RQ2 BoxE는 복잡한 규칙 언어에 속하는 규칙들, 예를 들어 복잡한 논리 규칙을 얼마나 자연스럽게 인코딩하고 주입할 수 있는가?
• RQ3 BoxE는 고차원 지식 기반으로 일반화될 수 있으며, 개체 클래스와 관계 유형의 해석 가능성도 유지하는가?
• RQ4 BoxE를 통한 규칙 주입이 KBC 성능 향상과 학습 수렴에 측정 가능한 기여를 하는가?

주요 결과

• BoxE는 다양한 벤치마크 지식 그래프와 일반 지식 기반에서 최고 성능을 기록하며, 링크 예측 및 규칙 주입 작업 모두에서 기존 모델을 능가한다.
• 모델는 기존 이동 기반 모델에서 처음으로 완전한 표현력을 확보했으며, 복잡한 논리적 구조를 가진 지식 기반이라도 증명 가능하게 맞출 수 있다.
• BoxE는 논리적 추론 패턴을 성공적으로 포착하고 강제 적용한다: 대칭 관계인 isMarriedTo는 헤드 및 테일 박스 크기가 거의 동일하게 표현되어 대칭성 모델링이 정확히 반영됨을 확인했다.
• 임베딩 공간 내에서 더 큰 박스 부피는 더 많은 관계 유형과 더 다양한 개체 유형을 의미하며, 이는 개체 클래스와 의미적 다양성의 효과적인 모델링을 시사한다.
• 규칙 주입 기반 모델인 BoxE+RI는 표준 BoxE보다 더 빠른 수렴 속도를 보이며 유의미하게 높은 성능을 달성했으며, 500 에포크 이내에 최고 MRR에 도달했다.
• 기하학적 해석 덕분에 관계 유형을 정확히 추론할 수 있다: 더 큰 테일 박스는 일대다 관계를, 더 큰 헤드 박스는 다대일 관계를 나타내며, 균형 잡힌 크기는 다대다 또는 일대일 관계를 의미한다.