[논문 리뷰] Retrieve, Rerank, Read, then Iterate: Answering Open-Domain Questions of Arbitrary Complexity from Text.

Peng Qi, Haejun Lee외 2명|arXiv (Cornell University)|2020. 10. 23.

Topic Modeling참고 문헌 26인용 수 10

한 줄 요약

이 논문은 오픈 도메인 질문을 임의의 복잡도로 다룰 수 있도록, 오프 더 셰프 검색 시스템과 원시 텍스트만을 사용하는 통합적이고 반복적인 검색 증강 생성 프레임워크를 제안한다. 단일 다중 작업 모델을 활용해 지원 사실을 반복적으로 검색, 재정렬, 읽는 과정을 수행하며, 단일 허프 및 다중 허프 벤치마크에서 최신 기술을 초월한다. 이는 새로운 세 허프 기반 위키백과 벤치마크를 포함한다.

ABSTRACT

Current approaches to open-domain question answering often make crucial assumptions that prevent them from generalizing to real-world settings, including the access to parameterized retrieval systems well-tuned for the task, access to structured metadata like knowledge bases and web links, or a priori knowledge of the complexity of questions to be answered (e.g., single-hop or multi-hop). To address these limitations, we propose a unified system to answer open-domain questions of arbitrary complexity directly from text that works with off-the-shelf retrieval systems on arbitrary text collections. We employ a single multi-task model to perform all the necessary subtasks---retrieving supporting facts, reranking them, and predicting the answer from all retrieved documents---in an iterative fashion. To emulate a more realistic setting, we also constructed a new unified benchmark by collecting about 200 multi-hop questions that require three Wikipedia pages to answer, and combining them with existing datasets. We show that our model not only outperforms state-of-the-art systems on several existing benchmarks that exclusively feature single-hop or multi-hop open-domain questions, but also achieves strong performance on the new benchmark.

연구 동기 및 목표

• 특수 검색 시스템, 구조화된 메타데이터, 질문 복잡도에 대한 사전 지식에 의존하는 기존 오픈 도메인 질의 응답 시스템의 한계를 해결하기 위해.
• 비정형 텍스트 컬렉션에서 직접적으로 임의의 복잡도의 질문을 처리할 수 있는 일반 목적의 프레임워크를 개발하기 위해.
• 파ram터화된 검색 모델이나 정제된 지식 기반에 의존하는 것을 제거하기 위해, 오프 더 셰프 검색 시스템을 사용함으로써.
• 검색, 재정렬, 읽기의 하위 작업을 단일 반복 프로세스로 통합하기 위해 단일 다중 작업 모델을 사용하기 위해.
• 실제 세계의 복잡성을 시뮬레이션하기 위해, 복잡한 세 허프 기반 위키백과 질문으로 구성된 새로운 벤치마크를 평가하기 위해.

제안 방법

• 검색, 재정렬, 읽기 단계를 순차적으로 수행하는 반복적 프로세스를 사용하며, 각 단계에서 다음 단계의 입력을 개선한다.
• 단일 다중 작업 모델을 훈련하여 세 가지 작업을 수행한다: 관련 문단 검색, 재정렬, 검색된 문서에서 답변 예측.
• 닫힌 루프 방식으로 작동하여, 답변 생성 이전에 지원 사실의 집합을 반복적으로 개선한다.
• 어떤 오프 더 셰프 검색 시스템과도 호환되며, 정교한 검색 컴포넌트가 필요 없이 임의의 텍스트 컬렉션과 함께 작동하도록 설계되었다.
• 훈련 데이터는 최대 세 개의 위키백과 페이지가 필요한 질문을 포함하며, 현실적인 다중 허프 추론을 시뮬레이션하도록 구성되었다.
• 지식 기반이나 웹 링크와 같은 구조화된 메타데이터에 액세스할 필요 없이, 오직 비정형 텍스트에 의존한다.

실험 결과

연구 질문

• RQ1 특수 검색 시스템에 의존하지 않고, 종합적이고 엔드 투 엔드로 훈련 가능한 모델이 임의의 복잡도의 오픈 도메인 질문을 효과적으로 다룰 수 있는가?
• RQ2 단일 다중 작업 모델이 공동 훈련을 통해 단일 허프 및 다중 허프 질의 응답 벤치마크에서 어느 정도의 성능을 보이는가?
• RQ3 반복적인 검색 및 읽기 프로세스가 복잡한 다중 허프 질문에서 정답 정확도를 어느 정도 향상시킬 수 있는가?
• RQ4 세 개의 지원 문서가 필요한 질문, 예를 들어 세 허프 질문에 대해 시스템이 얼마나 잘 일반화되는가?
• RQ5 구조화된 메타데이터에 액세스할 수 없는 상황에서, 새로운 세 허프 위키백과 질문 벤치마크에서 모델이 강력한 성능을 달성할 수 있는가?

주요 결과

• 제안된 모델은 단일 허프 또는 다중 허프 질문만 포함하는 기존의 벤치마크에서 최신 기술을 초월한다.
• 세 위키백과 페이지가 필요한 세 허프 질문 200개로 구성된 새로 구축된 벤치마크에서 뛰어난 성능을 달성한다.
• 반복적이고 다중 작업 기반의 프레임워크는 파ram터화된 검색 시스템에 액세스할 필요 없이 장거리 증거 체인에 대한 효과적인 추론을 가능하게 한다.
• 질문의 복잡도 수준에 관계없이 잘 일반화되며, 오픈 도메인 환경에서의 강건성을 보여준다.
• 정교화되지 않은 오프 더 셰프 검색 시스템을 사용함으로써 다양한 실제 텍스트 컬렉션에의 구현이 가능해진다.
• 통합 아키텍처는 작업별 특화 컴포넌트에 대한 의존도를 줄이며, 구현을 단순화하고 적응성을 향상시킨다.