[논문 리뷰] Answering Complex Open-domain Questions Through Iterative Query Generation

Peng Qi, Xiaowen Lin외 3명|arXiv (Cornell University)|2019. 10. 15.

Topic Modeling참고 문헌 26인용 수 13

한 줄 요약

GoldEn Retriever는 오픈 도메인 다단계 질문 답변을 위해 반복적이고 자연어 기반 질의 생성 프레임워크를 제안하며, 사전에 준비된 정보 검색(IR) 시스템을 사용해 단계적으로 지원 증거를 검색한다. BERT 유형의 사전 훈련된 언어 모델에 의존하지 않고도 HotpotQA의 fullwiki 설정에서 최고 성능을 달성하며, 인간과 유사한 질의를 통한 반복적 증거 수집을 통해 높은 효율성과 해석 가능성(해석 가능성)을 입증한다.

ABSTRACT

It is challenging for current one-step retrieve-and-read question answering (QA) systems to answer questions like "Which novel by the author of 'Armada' will be adapted as a feature film by Steven Spielberg?" because the question seldom contains retrievable clues about the missing entity (here, the author). Answering such a question requires multi-hop reasoning where one must gather information about the missing entity (or facts) to proceed with further reasoning. We present GoldEn (Gold Entity) Retriever, which iterates between reading context and retrieving more supporting documents to answer open-domain multi-hop questions. Instead of using opaque and computationally expensive neural retrieval models, GoldEn Retriever generates natural language search queries given the question and available context, and leverages off-the-shelf information retrieval systems to query for missing entities. This allows GoldEn Retriever to scale up efficiently for open-domain multi-hop reasoning while maintaining interpretability. We evaluate GoldEn Retriever on the recently proposed open-domain multi-hop QA dataset, HotpotQA, and demonstrate that it outperforms the best previously published model despite not using pretrained language models such as BERT.

연구 동기 및 목표

• 원래 질문에서 직접 검색할 수 없는 핵심 엔티티를 포함한 복잡한 오픈 도메인 질문을 해결하는 데 도전하는 것.
• 비용이 많이 드는 신경망 기반 검색 모델에 의존하지 않는 확장성 있고 해석 가능한 다단계 QA 방법 개발.
• 최소한의 감독 신호를 활용한 질의 생성을 통해 정답 지원 문서의 검색 재현율을 향상시키는 것.
• 종단 간 신경망 모델이 아닌 일반 목적의 IR 시스템을 사용해 효율적이고 반복적인 증거 수집을 가능하게 하는 것.

제안 방법

• GoldEn Retriever는 이전 단계에서 검색된 맥락과 원본 질문을 기반으로 반복적으로 자연어 질의를 생성하여 새로운 지원 문서를 검색한다.
• 생성된 질의를 사용해 표준 정보 검색 시스템(예: BM25를 사용하는 Elasticsearch)을 통해 문서 검색을 수행한다.
• 각 검색 단계 이후에 BiDAF++ 스타일의 읽기 이해 모듈을 사용해 검색된 증거에서 답변을 추출한다.
• 질의 생성은 정답 지원 문서의 검색 재현율을 극대화하기 위해 최소한의 감독 신호로 훈련된다.
• 프레임워크는 사전에 준비된 IR 컴포onent를 통합해 오픈 도메인 추론에서의 확장성과 해석 가능성을 확보한다.
• Elasticsearch는 제목과 텍스트 필드를 구성하며, 빅램 슬링링과 ASCII 정규화를 사용해 희귀 엔티티에 대한 매칭 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 반복적인 자연어 질의 생성이 복잡한 오픈 도메인 질문에 대한 지원 증거 검색을 향상시킬 수 있는가?
• RQ2 BERT와 같은 대규모 사전 훈련된 언어 모델을 사용하지 않고도 강력한 다단계 QA 성능을 달성할 수 있는가?
• RQ3 생성된 질의와 함께 사전에 준비된 IR 시스템을 사용할 경우, 효율적인 확장성과 함께 해석 가능성은 유지되는가?
• RQ4 최소한의 감독 신호를 활용한 질의 생성이 정답 지원 문서의 재현율 향상에 얼마나 효과적인가?

주요 결과

• GoldEn Retriever는 BERT나 유사한 사전 훈련된 언어 모델을 사용하지 않고도 HotpotQA의 오픈 도메인(fullwiki) 설정에서 이전에 발표된 최고 성능 모델을 능가한다.
• 시스템은 사전에 준비된 IR 시스템을 통해 반복적으로 자연어 질의를 생성함으로써 누락된 엔티티를 검색함으로써 최고 수준의 성능을 달성한다.
• 반복적 질의 생성은 최소한의 감독 조건에서도 정답 지원 문서의 검색 재현율을 크게 향상시킨다.
• 이중적인 질의 생성을 통해 각 단계에서 인간이 이해할 수 있는 질의를 생성함으로써 프레임워크는 높은 해석 가능성을 유지한다. 이는 투명하지 않은 신경망 기반 검색 모델과 대비된다.
• BM25와 제목 강조 기능을 사용한 Elasticsearch는 희귀 엔티티(예: 'Ernest Cline')에 대해 일반적인 전면 검색에서 빠지기 쉬운 경우에도 검색 정확도를 향상시킨다.