[논문 리뷰] Faithful Embeddings for Knowledge Base Queries

Haitian Sun, Andrew O. Arnold외 3명|arXiv (Cornell University)|2020. 04. 07.

Topic Modeling참고 문헌 31인용 수 21

한 줄 요약

이 논문은 지식 기반(KB)에서 완전하지 않은 경우에도 논리적 추론을 향상시키기 위해 신경 검색과 카운트민 스케치를 결합한 충실도가 높은 질의 임베딩 방법인 EmQL을 제안한다. 이는 논리적으로 함의된 답변에 대해 정확성을 보장한다. 기존의 Query2Box와 같은 방법들보다 충실도에서 뛰어나며, 신경 질의 응답 시스템의 성능을 향상시켜 MetaQA와 WebQuestionsSP 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The deductive closure of an ideal knowledge base (KB) contains exactly the logical queries that the KB can answer. However, in practice KBs are both incomplete and over-specified, failing to answer some queries that have real-world answers. \emph{Query embedding} (QE) techniques have been recently proposed where KB entities and KB queries are represented jointly in an embedding space, supporting relaxation and generalization in KB inference. However, experiments in this paper show that QE systems may disagree with deductive reasoning on answers that do not require generalization or relaxation. We address this problem with a novel QE method that is more faithful to deductive reasoning, and show that this leads to better performance on complex queries to incomplete KBs. Finally we show that inserting this new QE module into a neural question-answering system leads to substantial improvements over the state-of-the-art.

연구 동기 및 목표

• 기존 질의 임베딩(QE) 시스템에서 논리적 충실도가 부족하여 지식 기반(KB)에 의해 논리적으로 함의된 답변을 올바르게 검색하지 못하는 문제를 해결하기 위해.
• 전제 조건이 명시적으로 존재할 때도 추론 과정에서 연역적 추론을 유지하는 QE 방법을 개발하여 논리적으로 함의된 질의에 대해 정확성을 보장하기 위해.
• 충실도가 높은 QE 모듈을 신경 질의 응답(KBQA) 시스템에 통합하여 후행 성능을 향상시키기 위해.
• QE에서의 충실도가 실제 세계의 KBQA 벤치마크에서 측정 가능한 성능 향상으로 이어지는지 입증하기 위해.

제안 방법

• EmQL은 일반화를 위해 임베딩 공간에서 기하 연산을 적용하고, 논리적 추론을 위해 임bedded된 KB 삼중항에 대한 신경 검색을 수행하는 하이브리드 접근법을 사용한다.
• 논리적으로 함의된 답변의 점수를 높은 확률로 전파하기 위해 카운트민 스케치 데이터 구조를 활용하여 충실도를 보장한다.
• 교차, 합집합, 관계 필터링을 포함한 집합 연산을 지원하며, 엔터티 집합을 위한 중심점-스케치 표현을 사용한다.
• 선택적 스케치 제거가 가능하면서도 추론의 충실도를 유지할 수 있도록, 미분 가능하고 컴act하며 확장 가능한 아키텍처를 도입한다.
• 모듈러 구조로 설계되어 전체 재학습이 필요 없이 엔드 투 엔드 KBQA 파이프라인에 통합될 수 있도록 한다.
• 희소 행렬 연산에 의존하지 않도록 재학습된 KB 임베딩 모델을 사용하여 추론을 지원한다.

실험 결과

연구 질문

• RQ1 질의 임베딩 시스템을 논리적으로 충실도 있게 만들 수 있는가? 즉, 지식 기반에 의해 논리적으로 함의된 답변을 정확히 검색할 수 있는가?
• RQ2 신경 검색과 스케치 기반 점수 전파를 조합하면 순수 기하학적 QE 방법보다 충실도가 향상되는가?
• RQ3 충실도가 높은 QE 모듈이 신경 기반 KB 질의 응답 시스템의 성능을 크게 향상시킬 수 있는가?
• RQ4 완전하지 않은 지식 기반에서 복잡하고 구성적인 질의에 대해 QE의 충실도가 후행 성능에 어떤 영향을 미치는가?

주요 결과

• EmQL은 논리적으로 함의된 답변에서 Query2Box보다 뚜렷이 뛰어난 충실도를 보이며, 추론 능력에서 열등함을 입증한다.
• MetaQA와 WebQuestionsSP 벤치마크에서 EmQL을 KBQA 시스템에 통합하면 Hits@1에서 이중 숫자의 성능 향상이 이루어져 새로운 최신 기술 수준의 성능을 달성한다.
• 복잡한 질의에 대해 일반화 능력을 유지하면서도 높은 성능을 유지하여, 이전 QE 방법의 이점을 유지하면서도 충실도를 추가로 확보함을 보여준다.
• 카운트민 스케치의 사용은 논리적으로 함의된 답변에 대해 높은 확률로 점수를 충실도 있게 전파할 수 있게 하여 논리적 일관성에 실용적인 메커니즘을 제공한다.
• 스케치 컴포넌트를 전략적으로 제거함으로써 EmQL은 효과적인 일반화를 달성할 수 있으며, 충실도와 일반화 능력 사이의 균형을 유지한다.
• 이 연구는 QE 시스템을 KBQA 파이프라인에 신경 모듈로 성공적으로 통합한 최초의 사례로, 실세계 응용에서의 실용성을 입증한다.