[논문 리뷰] End-to-End Multihop Retrieval for Compositional Question Answering over Long Documents

Haitian Sun, William W. Cohen외 1명|arXiv (Cornell University)|2021. 06. 01.

Topic Modeling참고 문헌 17인용 수 9

한 줄 요약

이 논문은 장문의 문서에서 수치적으로 쿼리 임베딩과 검색된 문단/문장 표현을 조합함으로써 반복적으로 증거를 검색하고 개선하는 엔드 투 엔드 미분 가능한 다중호프 검색 모델인 DocHopper를 소개한다. 이 모델은 장문의 문서 기반 복합 질의응답 작업 세 가지에서 최고 성능을 기록하였으며, 이전 방법 대비 추론 속도가 3–10배 빠르다.

ABSTRACT

Answering complex questions from long documents requires aggregating multiple pieces of evidence and then predicting the answers. In this paper, we propose a multi-hop retrieval method, DocHopper, to answer compositional questions over long documents. At each step, DocHopper retrieves a paragraph or sentence embedding from the document, mixes the retrieved result with the query, and updates the query for the next step. In contrast to many other retrieval-based methods (e.g., RAG or REALM) the query is not augmented with a token sequence: instead, it is augmented by numerically combining it with another neural representation. This means that model is end-to-end differentiable. We demonstrate that utilizing document structure in this was can largely improve question-answering and retrieval performance on long documents. We experimented with DocHopper on three different QA tasks that require reading long documents to answer compositional questions: discourse entailment reasoning, factual QA with table and text, and information seeking QA from academic papers. DocHopper outperforms all baseline models and achieves state-of-the-art results on all datasets. Additionally, DocHopper is efficient at inference time, being 3~10 times faster than the baselines.

연구 동기 및 목표

• 장문의 문서에서 증거를 통합해야 하는 복잡한 복합 질문을 해결하는 데 도전하는 것.
• 다양한 문서 구조를 이용한 미분 가능하고 반복적인 검색 프레임워크를 통해 검색 및 질문응답 성능을 향상시키는 것.
• 토큰 기반 쿼리 증강을 피함으로써 엔드 투 엔드 학습과 더 빠른 추론을 가능하게 하는 방법을 설계하는 것.
• 기존의 RAG 및 REALM과 같은 검색 기반 모델보다 장문의 문서 기반 질의응답 벤치마크에서 승리하는 것.

제안 방법

• DocHopper는 장문의 문서에서 문단 또는 문장 임베딩을 반복적으로 검색함으로써 다중호프 검색을 수행한다.
• 각 단계에서 검색된 표현은 현재 쿼리 임베딩과 수치적으로 조합되어 다음 호프를 위한 쿼리를 업데이트한다.
• 쿼리 업데이트 과정은 토큰 시퀀스 증강을 피하는 미분 가능한 신경 연산을 통해 이루어진다.
• 모델은 엔드 투 엔드로 학습되어 검색 및 추론 구성 요소를 통해 기울기 흐름이 가능하다.
• 문서 구조가 검색을 안내하고 증거 통합을 향상시키기 위해 명시적으로 활용된다.
• 쿼리 및 문서 세그먼트 모두에 밀도 벡터 표현을 사용하여 연속 공간 내에서 의미적 매칭을 가능하게 한다.

실험 결과

연구 질문

• RQ1 자기회귀적 또는 토큰 증강 기반의 베이스라인 대비, 미분 가능하고 엔드 투 엔드 다중호프 검색 프레임워크가 장문의 문서에서 복합 질문응답 성능을 향상시킬 수 있는가?
• RQ2 임베딩 혼합을 통한 수치적 쿼리 개선 방식이 검색 및 추론 성능 향상에 얼마나 효과적인가?
• RQ3 문서 구조를 활용함으로써 장문의 맥락 기반 질의응답에서 증거 검색 및 답변 예측 성능 향상 정도는 어느 정도인가?
• RQ4 이러한 방법이 최고 성능을 기록하면서도 높은 추론 효율성을 유지할 수 있는가?

주요 결과

• DocHopper는 논의 함의 관계 추론, 표와 텍스트를 포함한 사실 기반 질의응답, 학술 논문에서의 정보 탐색 질의응답이라는 세 가지 별개의 장문의 문서 기반 질의응답 작업에서 최고 성능을 기록하였다.
• 모든 평가된 데이터셋에서 RAG 및 REALM과 같은 강력한 베이스라인을 모두 압도하였다.
• DocHopper는 기존의 베이스라인 모델 대비 3–10배 빠른 추론 속도를 보이며 실질적으로 매우 효율적인 성능을 보였다.
• 미분 가능하고 임베딩 기반의 쿼리 개선 방식을 사용함으로써 증거 통합과 정답 정확도가 향상되었다.
• 반복적인 검색을 통해 문서 구조를 활용함으로써 검색 및 질의응답 성능 향상이 뚜렷하게 향상되었다.
• 모델의 엔드 투 엔드 미분 가능성 덕분에 검색 및 추론 구성 요소의 효과적인 공동 최적화가 가능했다.