[논문 리뷰] PullNet: Open Domain Question Answering with Iterative Retrieval on Knowledge Bases and Text

Haitian Sun, Tania Bedrax-Weiss외 1명|arXiv (Cornell University)|2019. 04. 21.

Topic Modeling참고 문헌 37인용 수 35

한 줄 요약

PullNet는 지식 베이스와 텍스트 코퍼스에서 점진적으로 정보를 검색하여 오픈 도메인 질문에 답하는 방법을 학습하며, 약한 감독 하에 다중 호 특정 추론을 수행하기 위해 질문 가이드 서브그래프와 그래프 CNN을 사용한다.

ABSTRACT

We consider open-domain queston answering (QA) where answers are drawn from either a corpus, a knowledge base (KB), or a combination of both of these. We focus on a setting in which a corpus is supplemented with a large but incomplete KB, and on questions that require non-trivial (e.g., ``multi-hop'') reasoning. We describe PullNet, an integrated framework for (1) learning what to retrieve (from the KB and/or corpus) and (2) reasoning with this heterogeneous information to find the best answer. PullNet uses an {iterative} process to construct a question-specific subgraph that contains information relevant to the question. In each iteration, a graph convolutional network (graph CNN) is used to identify subgraph nodes that should be expanded using retrieval (or ``pull'') operations on the corpus and/or KB. After the subgraph is complete, a similar graph CNN is used to extract the answer from the subgraph. This retrieve-and-reason process allows us to answer multi-hop questions using large KBs and corpora. PullNet is weakly supervised, requiring question-answer pairs but not gold inference paths. Experimentally PullNet improves over the prior state-of-the art, and in the setting where a corpus is used with incomplete KB these improvements are often dramatic. PullNet is also often superior to prior systems in a KB-only setting or a text-only setting.

연구 동기 및 목표

• KB, 코퍼스 또는 둘 다에서 답이 나올 수 있는 오픈 도메인 QA를 고무합니다. 특히 KB가 불완전할 때 더 그렇습니다.
• 질문 특화 이질적 서브그래프를 구축하는 통합적이고 반복적인 검색 프레임워크를 제안합니다.
• QA 쌍으로부터의 약한 감독으로 그래프 CNN을 사용하여 텍스트와 KB 데이터에 대한 엔드-투-엔드 추론을 가능하게 합니다.

제안 방법

• 엔티티, 텍스트 및 사실 노드로 구성된 이질적 질문 서브그래프를 정의합니다.
• 학습된 풀 연산자(classifier)를 사용하여 관련 문서와 KB 사실을 끌어오며 서브그래프를 반복적으로 분류하고 확장합니다.
• 문서는 IDF 기반의 Lucene pull_docs를 통해, 사실은 관계 임베딩과 질문 인코딩 간의 학습된 유사도 S(r,q)로 얻습니다.
• 각 반복 후 새로 검색된 노드와 간선을 포함하도록 서브그래프를 업데이트합니다.
• 그래프 CNN(GRAFT-Net 스타일)을 사용하여 노드 표현을 계산하고 어떤 엔티티를 끌어올릴지와 어떤 노드가 정답일 가능성이 가장 높은지 선택합니다.
• QA 쌍과 최단 경로 추론 신호를 활용하여 약한 감독하에 학습합니다.

실험 결과

연구 질문

• RQ1 KB가 불완전할 때 질문 가이드형 반복 검색 프로세스가 KB와 텍스트 코퍼스에서 오픈 도메인 QA 성능을 향상시킬 수 있을까?
• RQ2 무엇을 검색할지 학습하는 것이(휴리스틱에 의존하기보다는) 더 작고 더 관련성 높은 서브그래프와 더 나은 다중호 추론을 가져올까?
• RQ3 다중호 질문 벤치마크에서 KB와 텍스트 소스를 결합하는 것이 각각의 소스를 단독으로 사용하는 것과 어떻게 비교될까?

주요 결과

• PullNet은 KB+텍스트 오픈 도메인 QA 벤치마크에서 최첨단 또는 경쟁력 있는 성능을 달성하며, 특히 KB가 불완전할 때 그렇습니다.
• KB-전용 설정에서 PullNet은 기준선에 비해 2-hop 및 3-hop 질문에서 크게 향상됩니다.
• 텍스트 전용 또는 불완전한 KB+텍스트 설정에서 PullNet은 기준선을 능가하고 종종 KB-전용 또는 텍스트-전용 접근을 능가합니다.
• 반복적 검색은 휴리스틱 단일 샷 검색 방법보다 더 작고 더 높은 재현율을 제공합니다.
• MetaQA의 3-hop 질문에서 KB 설정에서 hits-at-one을 62.5%에서 91.4%로 향상시킵니다.
• 부분적으로 불완전한 KB를 가진 Complex WebQuestions에서 특정 설정에서 GRAFTNet 대비 절대 6.8% 향상시킵니다.