[논문 리뷰] Retrieving and Reading: A Comprehensive Survey on Open-domain Question Answering

Fengbin Zhu, Wenqiang Lei외 4명|arXiv (Cornell University)|2021. 01. 04.

Topic Modeling참고 문헌 160인용 수 153

한 줄 요약

이 설문조사는 Retriever-Reader 아키텍처에 초점을 맞춘 오픈 도메인 QA를 분석하고, 검색 방법들(희소형, 밀집형, 반복형)을 조사하며, 신경망 MRC, 도전과제, 벤치마크에 대해 논의한다.

ABSTRACT

Open-domain Question Answering (OpenQA) is an important task in Natural Language Processing (NLP), which aims to answer a question in the form of natural language based on large-scale unstructured documents. Recently, there has been a surge in the amount of research literature on OpenQA, particularly on techniques that integrate with neural Machine Reading Comprehension (MRC). While these research works have advanced performance to new heights on benchmark datasets, they have been rarely covered in existing surveys on QA systems. In this work, we review the latest research trends in OpenQA, with particular attention to systems that incorporate neural MRC techniques. Specifically, we begin with revisiting the origin and development of OpenQA systems. We then introduce modern OpenQA architecture named "Retriever-Reader" and analyze the various systems that follow this architecture as well as the specific techniques adopted in each of the components. We then discuss key challenges to developing OpenQA systems and offer an analysis of benchmarks that are commonly used. We hope our work would enable researchers to be informed of the recent advancement and also the open challenges in OpenQA research, so as to stimulate further progress in this field.

연구 동기 및 목표

• 전통적인 시스템에서 신경망 접근 방식으로의 전환 과정에서 OpenQA 시스템의 기원과 발전을 추적한다.
• Retriever-Reader 아키텍처와 그 구성 요소를 소개하고 분석한다.
• 오픈 QA에서 희소형, 밀집형, 반복형 검색기와 그 역할을 조사한다.
• OpenQA의 주요 도전과제를 논의하고 일반적으로 사용되는 벤치마크에 대한 개요를 제공한다.

제안 방법

• 전통적 파이프라인에서 현대의 신경망 엔드투엔드 시스템으로의 OpenQA 진화를 검토한다.
• Retriever-Reader OpenQA 시스템의 분류학을 제안하고 구성 요소 기법을 분석한다.
• 검색기를 희소형(Sparse), 밀집형(Dense), 반복형(Iterative)으로 구분하고 각각의 작동 기전과 trade-off를 설명한다.
• 답 추출에 사용되는 엔드투엔드 학습 패러다임과 신경망 MRC 모델을 논의한다.
• 향후 연구를 안내하기 위한 도전 과제와 벤치마크를 요약한다.

실험 결과

연구 질문

• RQ1 오픈 도메인 QA의 역사적 발전은 무엇이며, 신경망 MRC 방법이 현대 시스템에 어떤 영향을 미쳤는가?
• RQ2 Retriever-Reader 아키텍처는 어떻게 작동하며, 각 구성 요소에 대한 주요 변형과 기법은 무엇인가?
• RQ3 오픈 QA에서 희소형, 밀집형, 반복형 검색기의 상대적 강점과 한계는 무엇인가?
• RQ4 OpenQA 시스템을 평가하는 데 일반적으로 사용되는 주요 도전 과제와 벤치마크 데이터 세트는 무엇인가?

주요 결과

• OpenQA 시스템은 일반적으로 텍스트 QA와 KB-QA로 구성되며, OpenQA의 목표는 비구조화된 텍스트에서 질문에 답하는 것임.
• 현대의 일반적인 아키텍처는 Retriever-Reader이며, 종종 문서/답변 후처리 및 엔드투엔드 학습으로 보강됨.
• 검색기는 희소형, 밀집형, 반복형으로 분류되며, 각각 문서 검색에 대해 고유한 기전과 트레이드오프를 가짐.
• 신경망 MRC 모델은 Answer Extraction의 중심이 되어 엔드투엔드 학습 및 검색기와의 통합을 가능하게 함.
• 밀집형 검색기는 용어 불일치를 잠재 표현으로 해결하고, 반복형 검색기는 복합 질문에 대한 다중 홉 검색을 가능하게 함.