[논문 리뷰] Multi-Hop Paragraph Retrieval for Open-Domain Question Answering

Yair Feldman, Ran El‐Yaniv|arXiv (Cornell University)|2019. 06. 15.

Topic Modeling참고 문헌 30인용 수 9

한 줄 요약

이 논문은 개방형 질의응답을 위한 새로운 반복적 다단계 검색 방법인 MUPPET을 제안한다. 질문-문단의 공동 벡터 표현과 문장 수준의 인코딩을 사용하여 증거 검색을 향상시킨다. 문단 표현을 사전에 계산하여 대규모 검색의 효율성을 높임으로써 SQuAD-Open(단일 단계)과 HotpotQA(다단계) 벤치마크에서 최고 성능을 달성한다. 기존의 TF-IDF 및 신경망 재순서 정렬 방법보다 뛰어난 성능을 보인다.

ABSTRACT

This paper is concerned with the task of multi-hop open-domain Question Answering (QA). This task is particularly challenging since it requires the simultaneous performance of textual reasoning and efficient searching. We present a method for retrieving multiple supporting paragraphs, nested amidst a large knowledge base, which contain the necessary evidence to answer a given question. Our method iteratively retrieves supporting paragraphs by forming a joint vector representation of both a question and a paragraph. The retrieval is performed by considering contextualized sentence-level representations of the paragraphs in the knowledge source. Our method achieves state-of-the-art performance over two well-known datasets, SQuAD-Open and HotpotQA, which serve as our single- and multi-hop open-domain QA benchmarks, respectively.

연구 동기 및 목표

• 질문에 직접 연결되지 않은 여러 문단에서 증거가 필요한 개방형 다단계 질의응답 문제에 대응하기 위해.
• 모든 후보 문단을 함께 처리하는 대신 사전에 계산된 문단 표현을 사용하여 대규모 지식 기반에서 검색의 효율성과 정확도를 향상시키기 위해.
• 이해 작업에 관련된 증거를 포착하는 데 있어 문장 수준의 표현이 문단 수준의 표현보다 우수한지 여부를 조사하기 위해.
• 다양한 출처의 증거를 연결하여 인간과 유사한 추론 방식을 모방하는 반복적 검색 프레임워크를 개발하기 위해.
• 다단계 추론에 대해 먼 감독(far supervision)에 의존하지 않고도 단일 및 다단계 개방형 QA 벤치마크에서 최고 성능을 달성하기 위해.

제안 방법

• 질문과 문단의 공동 벡터 표현을 사용하여 의미적 유사도를 계산함으로써 대규모 지식 기반에서 효율적인 검색을 가능하게 한다.
• 문맥 기반 임bedding(예: BERT)을 사용해 문장 수준에서 문단를 인코딩하고, 이를 집계하여 검색용 문단 수준의 표현으로 변환한다.
• 반복적 검색 과정을 적용한다: 초기 문단 집합을 검색한 후, 검색된 증거를 바탕으로 질문 표현을 개선하고 추가로 지원하는 문단을 검색한다.
• 질문-문단의 공동 인코딩을 추론 중에 수행하지 않고도 효율적인 유사도 검색을 가능하게 하기 위해 문단 임베딩을 사전에 계산하고 저장한다.
• 특히 질문이 문단의 중심 사실 이외의 비핵심 사실에 의존하는 경우, 문장 수준의 표현을 사용해 검색 정밀도를 향상시킨다.
• 단일 및 다단계 QA 데이터셋에서 검색 성능을 최적화하기 위해 대비 손실(contrastive loss)을 사용해 엔드 투 엔드로 학습한다.

실험 결과

연구 질문

• RQ1 단일 단계 검색과 비교해 복잡한 다단계 질문 응답에서 반복적 검색 프레임워크가 성능 향상에 기여하는가?
• RQ2 문단 수준의 표현 대신 문장 수준의 표현을 사용할 경우 복잡한 추론 작업에서 더 나은 증거 검색이 이루어지는가?
• RQ3 사전에 계산된 문단 표현을 통해 추론 중 공동 인코딩 없이도 대규모에서 정확하고 효율적인 검색이 가능한가?
• RQ4 다단계 QA 벤치마크에서 기존의 TF-IDF 및 신경망 재순서 정렬 기반 기준과 비교해 이 방법의 성능은 어떠한가?
• RQ5 이 방법은 단일 단계와 다단계 QA 환경 간에 얼마나 잘 일반화되는가?

주요 결과

• MUPPET은 SQuAD-Open과 HotpotQA 양 벤치마크에서 최고 성능을 달성하였으며, 단일 및 다단계 설정 모두에서 기존 검색 방법을 능가한다.
• SQuAD-Open에서 문장 수준의 인코딩 사용이 성능 향상에 크게 기여했으며, 이는 질문이 종종 문단 수준 요약에 포함되지 않는 비핵심 사실에 의존하기 때문이다.
• HotpotQA에서는 문장 수준의 인코딩이 덜 향상된 것으로 보이며, 이는 대부분의 문단가 하나의 질문과 연결되어 있어 더 집중적이고 핵심 정보를 담고 있기 때문일 것이다.
• 반복적 검색 메커니즘은 여러 문단에서 증거를 연결할 수 있게 하여, 첫 번째 문맥에서 매니저(앨렉스 페르거슨)를 정확히 식별한 후 두 번째 문맥에서 기간을 검색하는 데 성공했다.
• 문단 표현을 사전에 계산함으로써 대규모 검색이 효율적으로 가능해져, 위키피디아와 같은 대규모 지식 기반에 적용 가능한 확장성을 확보했다.
• 이 방법은 노이즈에 강건하며, 특히 증거가 여러 출처에 산재해 있는 다단계 시나리오에서 TF-IDF 및 신경망 재순서 정렬 기준보다 뛰어난 성능을 보였다.