[논문 리뷰] Answering Complex Open-Domain Questions with Multi-Hop Dense Retrieval

W. Xiong, Xiang Lorraine Li외 9명|arXiv (Cornell University)|2020. 09. 27.

Topic Modeling참고 문헌 48인용 수 18

한 줄 요약

이 논문은 복잡한 오픈 도메인 질문에 답하기 위해 코퍼스 특화 구조(예: 하이퍼링크 또는 엔티티 마킹)에 의존하지 않고, 반복적인 밀도 기반 검색과 질의 재구성 기법을 사용하는 간단하고 효율적인 프레임워크인 다중 스토크 밀도 검색(Multi-Hop Dense Retrieval, MDR)을 제안한다. 이는 HotpotQA와 다중 증거 FEVER에서 최신 기준 성능을 달성하며, HotpotQA에서 최고의 공개된 정확도를 유지하면서 추론 시 10배 빠른 속도를 기록한다.

ABSTRACT

We propose a simple and efficient multi-hop dense retrieval approach for answering complex open-domain questions, which achieves state-of-the-art performance on two multi-hop datasets, HotpotQA and multi-evidence FEVER. Contrary to previous work, our method does not require access to any corpus-specific information, such as inter-document hyperlinks or human-annotated entity markers, and can be applied to any unstructured text corpus. Our system also yields a much better efficiency-accuracy trade-off, matching the best published accuracy on HotpotQA while being 10 times faster at inference time.

연구 동기 및 목표

• 다양한 문서에서 증거를 통합해야 하는 복잡한 다중 스토크 오픈 도메인 질문에 답하는 데 도전하는 것.
• 하이퍼링크나 엔티티 표기 등 코퍼스 특화 구조에 의존하는 기존 방법의 한계를 극복하는 것.
• 밀도 벡터 표현과 반복적 검색을 활용하여 다중 스토크 검색의 효율성-정확도 트레이드오프를 향상시키는 것.
• 특수 데이터나 학습 히ュ리스틱이 필요 없이도 대규모 비정형 텍스트 코퍼스에서 확장 가능하고 일반적인 다중 스토크 질의 응답을 가능하게 하는 것.

제안 방법

• 각 검색 단계에서 질문과 이전에 확보한 문단을 바탕으로 새로운 질의 표현을 생성하는 재귀적 프레임워크를 사용한다.
• 각 스토크에서, 코퍼스의 밀도 표현에 대해 최대 내적곱 검색(MIPS)을 수행하여 가장 관련성이 높은 문단을 검색한다.
• 질의 표현은 원본 질문과 이전에 확보한 문단 텍스트를 연결하여 업데이트되며, 이는 사전 학습된 트랜스포머 모델에 의해 인코딩된다.
• 학습 중에 배치 내 및 메모리 백업 음성 샘플링을 사용하여 밀도 표현의 품질을 향상시킨다.
• 검색 과정은 완전히 미분 가능하고 엔드 투 엔드로 학습 가능하여 다중 스토크 추론 체인의 효과적인 최적화를 가능하게 한다.
• 외부 지식 그래프, 엔티티 연결 또는 하이퍼링크 구조가 필요 없어 비정형 코퍼스 어디에나 적용 가능한 점이 특징이다.

실험 결과

연구 질문

• RQ1 하이퍼링크나 엔티티 마킹과 같은 코퍼스 특화 구조에 의존하지 않고도 밀도 기반 검색을 다중 스토크 질의 응답에 효과적으로 확장할 수 있는가?
• RQ2 기존 방법에 비해 추론 효율성을 크게 향상시키면서도 높은 정확도를 유지할 수 있도록 반복적 밀도 기반 검색을 어떻게 설계할 수 있는가?
• RQ3 질의를 확보한 문단과 연결하는 단순한 질의 재구성 전략이 다중 스토크 질의 응답에서 최신 기준 성능을 달성할 수 있는가?
• RQ4 제안된 방법이 다양한 오픈 도메인 코퍼스와 다중 스토크 벤치마크 간에 얼마나 잘 일반화되는가?

주요 결과

• 제안된 MDR 방법은 HotpotQA 벤치마크에서 최신 기준 성능을 달성하며, 최고의 공개된 F1 점수 79.6%를 유지하면서 추론 시 10배 빠른 속도를 기록한다.
• 다중 증거 FEVER 데이터셋에서 MDR는 이전 방법들을 크게 능가하며, 다양한 다중 스토크 질의 응답 설정에서 강력한 일반화 능력을 보여준다.
• 하이퍼링크나 엔티티 표기와 같은 코퍼스 특화 정보를 전혀 사용하지 않아도, 이전의 링크 기반 검색 접근 방식보다 뛰어난 정확도를 달성한다.
• 강력한 사전 학습된 인코더와 함께 배치 내 및 메모리 백업 음성 샘플링을 사용함으로써, 다중 스토크 추론 경로를 효과적으로 포착하는 고품질의 밀도 표현을 얻을 수 있었다.
• 질의 재구성에 연결을 통한 반복적 검색 과정은 이전 연구에서 사용된 복잡한 어텐션 기반 질의 정밀화 기법보다 더 효과적인 것으로 입증되었다.
• 프레임워크는 매우 효율적이며, 이전 최신 기준 모델들이 예측 당 수백 번의 호출이 필요한 데 비해, 대규모 언어 모델 호출 횟수를 훨씬 줄였다.