[논문 리뷰] Open Domain Question Answering Using Early Fusion of Knowledge Bases and Text

Haitian Sun, Bhuwan Dhingra외 4명|arXiv (Cornell University)|2018. 09. 04.

Topic Modeling참고 문헌 45인용 수 11

한 줄 요약

이 논문은 지식 기반(KB)과 텍스트의 조기 융합을 통해 개방형 도메인 질의응답을 향상시키기 위해 GRAFT-Net을 제안한다. GRAFT-Net은 지식 기반 사실과 엔티티 링크된 텍스트를 이질적인 그래프로 구성하고, 이질적 메시지 전파와 유도된 임bedding 전파를 사용하여 성능을 향상시킨다. GRAFT-Net은 통합된 KB-텍스트 QA 설정에서 최신 기술 수준(SOTA) 성능을 달성하며, 기존 방법보다 최대 4.8% F1 점수를 뛰어넘고 순수 KB 또는 텍스트 벤치마크에서 SOTA 성능을 유지한다.

ABSTRACT

Open Domain Question Answering (QA) is evolving from complex pipelined systems to end-to-end deep neural networks. Specialized neural models have been developed for extracting answers from either text alone or Knowledge Bases (KBs) alone. In this paper we look at a more practical setting, namely QA over the combination of a KB and entity-linked text, which is appropriate when an incomplete KB is available with a large text corpus. Building on recent advances in graph representation learning we propose a novel model, GRAFT-Net, for extracting answers from a question-specific subgraph containing text and KB entities and relations. We construct a suite of benchmark tasks for this problem, varying the difficulty of questions, the amount of training data, and KB completeness. We show that GRAFT-Net is competitive with the state-of-the-art when tested using either KBs or text alone, and vastly outperforms existing methods in the combined setting. Source code is available at https://github.com/OceanskySun/GraftNet .

연구 동기 및 목표

• 지식 기반 또는 텍스트 코퍼스 중 하나만으로는 완전성 부족이나 모호성으로 인해 충분하지 않은 개방형 도메인 질의응답 문제를 해결하기 위해.
• 텍스트의 높은 커버리지와 지식 기반의 구조화된 추론을 조기 융합을 통해 통합함으로써 답변 추출 성능을 향상시키기 위해.
• 순수 KB 또는 순수 텍스트 QA 벤치마크에서 경쟁력을 갖추면서도 통합 설정에서 뛰어난 성능을 내는 통합 모델을 개발하기 위해.
• 하이브리드 QA 시스템 평가를 위해 지식 기반 완전성, 학습 데이터 크기, 질문 복잡도 등 다양한 조건을 포함한 새로운 벤치마크 세트를 구축하기 위해.

제안 방법

• GRAFT-Net은 지식 기반의 엔티티와 텍스트 스트링을 노드로, 관계 또는 공존 관계를 간선으로 하는 이질적 그래프를 구성한다.
• 이질적 업데이트 규칙을 사용한다: 텍스트 노드에는 LSTM 기반 업데이트를, 지식 기반 엔티티에는 표준 GCN 스타일 업데이트를 적용하여 서로 다른 정보 유형을 유지한다.
• 개인화된 PageRank를 영감으로 삼은 유도된 전파 메커니즘을 도입하여 질문 관련 시드 노드에서부터 임베딩 흐름을 제한함으로써 집중된 추론을 보장한다.
• 메시지 전파 중에 다양한 관계의 중요도를 동적으로 가중치 부여하기 위해 관계에 대해 질의 인식 기반 어텐션을 사용한다.
• 최종 노드 표현에서 부분 그래프 내의 예측을 도출함으로써, 답변 스트링에 대한 교차 엔트로피 손실을 사용해 엔드 투 엔드 학습을 수행한다.
• 이 방법은 KB와 텍스트 모두에 대한 공동 학습을 지원하여, 하나의 통합 프레임워크 안에서 이질적 소스 간의 증거 집합을 가능하게 한다.

실험 결과

연구 질문

• RQ1 조기 융합이 후기 융합 또는 단일 소스 모델 대비 개방형 도메인 질의응답 성능을 향상시키는가?
• RQ2 텍스트와 지식 기반 엔티티 노드를 다르게 처리하는 이질적 메시지 전파 방식이 하이브리드 QA에서 성능에 어떤 영향을 미치는가?
• RQ3 질문 관련 시드에서 유도된 임베딩 전파가 복잡한 추론 작업에서 답변 정확도를 얼마나 향상시키는가?
• RQ4 통합된 KB-텍스트 설정에서 지식 기반 완전성과 학습 데이터 크기 변화에 따라 모델 성능은 어떻게 변하는가?
• RQ5 단일 통합 모델이 순수 KB 또는 순수 텍스트 QA 벤치마크에서 모두 경쟁적인 성능을 달성할 수 있는가?

주요 결과

• GRAFT-Net은 WebQuestionsSP에서 100% KB 완전성과 100% 텍스트 조건에서 67.8 F1 점수를 기록하며, 통합 설정에서 기존 벤치마크보다 최대 4.8% F1 점수를 뛰어넘었다.
• 순수 KB 전용(예: WikiMovies에서 96.8 Hits@1) 및 순수 텍스트 전용(예: DrQA 벤치마크에서 86.6 F1) 벤치마크에서도 SOTA 성능을 유지하거나 초월했다.
• 비이질적 기반 모델 대비 이질적 업데이트 방식이 4.8% F1 점수 향상에 기여하여, 동일 문서 내 엔티티의 해석 불확실성 문제를 해결하는 데 중요함을 입증했다.
• 유도된 전파와 관계에 대한 질의 기반 어텐션은 각각 성능 향상에 기여하였으며, 모든 KB 완전성 수준에서 유의미한 개선이 관찰되었다.
• 중간 수준의 사실 드롭아웃(예: 30%)은 일반화 성능을 향상시켜, 모델이 KB 노이즈에 과적합되는 것을 방지하는 데 도움이 된다는 것을 시사한다.
• 제약 기반 추론(예: 시간적 또는 순차적 제약)이 필요한 질문에서는 성능이 열등하지만, 이러한 제약 조건을 무시할 경우 F1 점수는 3.8% 향상된다.