[논문 리뷰] Baleen: Robust Multi-Hop Reasoning at Scale via Condensed Retrieval

Omar Khattab, Christopher Potts외 1명|arXiv (Cornell University)|2021. 01. 02.

Topic Modeling참고 문헌 24인용 수 4

한 줄 요약

Baleen은 압축 검색을 통해 검색 공간을 줄이고, 복잡한 쿼리 모델링을 위한 집중형 후기 상호작용 검색기(FLIPR) 및 약한 지도 신호로부터 효과적인 힙 순서를 학습하는 잠재적 힙 순서를 사용하여 개방 도메인 질의 응답 및 진술 검증에서 검색 정확도를 향상시키는 확장 가능하고 견고한 다단계 추론 시스템을 제안한다. 이는 두 단계( nóngPotQA) 및 다수 단계(HoVer) 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Multi-hop reasoning (i.e., reasoning across two or more documents) is a key ingredient for NLP models that leverage large corpora to exhibit broad knowledge. To retrieve evidence passages, multi-hop models must contend with a fast-growing search space across the hops, represent complex queries that combine multiple information needs, and resolve ambiguity about the best order in which to hop between training passages. We tackle these problems via Baleen, a system that improves the accuracy of multi-hop retrieval while learning robustly from weak training signals in the many-hop setting. To tame the search space, we propose condensed retrieval, a pipeline that summarizes the retrieved passages after each hop into a single compact context. To model complex queries, we introduce a focused late interaction retriever that allows different parts of the same query representation to match disparate relevant passages. Lastly, to infer the hopping dependencies among unordered training passages, we devise latent hop ordering, a weak-supervision strategy in which the trained retriever itself selects the sequence of hops. We evaluate Baleen on retrieval for two-hop question answering and many-hop claim verification, establishing state-of-the-art performance.

연구 동기 및 목표

• 많은 단계로의 다단계 추론을 확장하면서도 높은 검색 정확도를 유지하는 데 도전하는 것.
• 각 단계 이후에 문맥을 압축하여 다단계 검색에서 내재된 지수적 검색 공간을 줄이는 것.
• 서로 다른 관련 문서를 매칭해야 하는 복잡한 다면적 쿼리를 표준 벡터 또는 bag-of-words 접근 방식보다 효과적으로 모델링하는 데 유연한 검색 기반 기법을 사용하는 것.
• 부서지기 쉬운 데이터셋 전용 히우리스틱이나 고비용 수동 주석에 의존하지 않고 효과적인 힙 순서를 학습하는 것.
• 대규모 다단계 검색 작업에서 약한 지도 신호로부터 견고한 훈련을 가능하게 하는 것.

제안 방법

• 압축 검색: 각 단계 이후에 검색된 문단을 압축하여 단순한 문맥으로 요약하고, 이를 다음 단계의 쿼리 부분으로 사용하여 검색 공간을 줄이고 확장성을 향상시킴.
• 집중형 후기 상호작용 문서 검색기(FLIPR): 동일한 쿼리 임bedding의 서로 다른 부분이 서로 다른 관련 문서와 매칭될 수 있도록 학습된 검색 모델로, 세밀한 컨텍스트 인식 매칭을 가능하게 함.
• 잠재적 힙 순서(LHO): 훈련 중에 검색기가 자체적으로 최적의 힙 순서를 선택하는 약한 지도 신호 전략으로, 수동 또는 히우리스틱 기반 순서에 의존하지 않음.
• 하이브리드 아키텍처: 탐욕적 검색과 압축된 컨텍스트를 결합하여 재현율과 효율성의 균형을 이루며, 확장성과 성능 면에서 빔 서치를 능가함.
• 약한 지도 신호를 통한 엔드 투 엔드 훈련: 힙 순서 주석이 아닌 문서 수준의 레이블만을 사용하여 시스템을 훈련시켜 임의의 수의 힙으로 일반화 가능하게 함.
• 대규모 코퍼스에 대한 적응: ColBERT와 같은 후기 상호작용 모델의 효율성을 활용하여 많은 단계와 대규모 문서 컬렉션으로도 효율적으로 확장 가능하도록 설계됨.

실험 결과

연구 질문

• RQ1 검색 시스템이 많은 단계로 확장되면서도 다단계 추론 작업에서 높은 재현율을 달성할 수 있는가?
• RQ2 서로 다른 문단에서 정보가 필요한 복잡한 쿼리는 표준 벡터 또는 bag-of-words 접근 방식보다 어떻게 더 효과적으로 모델링할 수 있는가?
• RQ3 명시적인 순서 주석 없이 약한 지도 신호에서 자동으로 효과적인 힙 순서를 학습할 수 있는가?
• RQ4 표준 탐욕적 또는 빔 서치 전략에 비해 압축 검색이 재현율과 견고성 향상에 얼마나 기여하는가?
• RQ5 두 단계 벤치마크를 넘어서 실제 다단계 진술 검증 작업에서 시스템의 성능은 어떠한가?

주요 결과

• 두 단계의 HotPotQA 벤치마크에서 Baleen은 상위 20개 검색 문서 내에서 96.3%의 답변 재현율을 달성하여 이전 연구(89.4%)를 크게 앞서며 성능을 뛰어넘음.
• 네 단계의 HoVer 진술 검증 데이터셋에서 Baleen은 총 검색 정확도 92.2%를 기록하여 다음으로 강력한 베이스라인(74.8%)을 크게 능가함.
• 제거 실험 결과, FLIPR를 제거하면 HoVer에서 성능이 87.4%로 떨어지며, 이는 복잡한 쿼리 모델링에서 FLIPR의 핵심적 역할을 입증함.
• 잠재적 힙 순서(LHO)를 제거하면 성능이 84.8%로 떨어지며, LHO가 효과적인 힙 순서 학습에 필수적임을 보여줌.
• 하이브리드 아키텍처(Baleen${}_{\textnormal{HYBRID}}$)는 HoVer에서 94.5%의 정확도를 달성하여, 압축 검색과 재정렬을 결합함으로써 견고성이 향상됨을 시사함.
• Baleen의 성능는 네 단계에서도 여전히 높은 수준( HotPotQA에서 85.1%)을 유지하며, 복잡한 다단계 추론 작업으로의 확장 가능성을 입증함.