[논문 리뷰] Query Reformulation using Query History for Passage Retrieval in Conversational Search

Sheng-Chieh Lin, Jheng-Hong Yang외 4명|arXiv (Cornell University)|2020. 05. 05.

Topic Modeling참고 문헌 50인용 수 20

한 줄 요약

이 논문은 기존 정보 검색(IR) 시스템과 두 가지 신규 질의 재구성 방법인 역사적 질의 확장(HQE) 및 신경 전이 재구성(NTR)을 결합한 다단계 파이프라인을 제안한다. HQE는 과거 질의를 활용해 질의를 확장하고, NTR는 인간의 대화적 이해 능력을 신경망 모델로 전이하여, TREC 2019 최고 성능 시스템 대비 NDCG@3에서 18% 향상시켰으며, 수동으로 재작성된 질의와의 성능 격차를 단 4점으로 줄였다.

ABSTRACT

Passage retrieval in a conversational context is essential for many downstream applications; it is however extremely challenging due to limited data resources. To address this problem, we present an effective multi-stage pipeline for passage ranking in conversational search that integrates a widely-used IR system with a conversational query reformulation module. Along these lines, we propose two simple yet effective query reformulation approaches: historical query expansion (HQE) and neural transfer reformulation (NTR). Whereas HQE applies query expansion, a traditional IR query reformulation technique, NTR transfers human knowledge of conversational query understanding to a neural query reformulation model. The proposed HQE method was the top-performing submission of automatic systems in CAsT Track at TREC 2019. Building on this, our NTR approach improves an additional 18% over that best entry in terms of NDCG@3. We further analyze the distinct behaviors of the two approaches, and show that fusing their output reduces the performance gap (measured in NDCG@3) between the manually-rewritten and automatically-generated queries to 4 from 22 points when compared with the best CAsT submission.

연구 동기 및 목표

• 제한된 학습 데이터로 인해 성능이 저하되는 대화형 검색에서 파assage 검색을 향상시키기 위해.
• 다단계 대화에서 사용자 질의의 이해와 재구성에 도전하는 데에.
• 대규모 라벨이 부여된 대화 데이터가 필요 없이도 효과적인 질의 재구성 기법을 개발하기 위해.
• 자동 생성된 질의와 수동으로 재작성된 질의 간 성능 격차를 줄이기 위해.
• 기존의 IR 기법과 신경 기반 접근법을 융합하여 대화형 검색에서의 순위 매기기 성능을 향상시키기 위해.

제안 방법

• 프레임워크는 표준 IR 시스템과 질의 재구성 모듈을 결합한 다단계 파이프라인을 사용한다.
• 역사적 질의 확장(HQE)은 대화 기록 내 이전 질의의 용어를 사용해 질의를 재구성한다.
• 신경 전이 재구성(NTR)은 인간이 애너테이션한 대화 질의 이해 패tern을 전이 학습을 통해 질의 재구성에 적용한다.
• 두 재구성 방법은 질의 이해 능력에서 상호 보완적인 강점을 결합하기 위해 융합된다.
• 시스템은 TREC 2019의 CAsT 트랙을 사용해 평가되었으며, 주요 평가 지표로 NDCG@3를 사용했다.
• 기존의 IR 인프라를 활용하면서도 경량이면서 효과적인 질의 재구성 컴포넌트를 추가했다.

실험 결과

연구 질문

• RQ1 역사적 질의 확장(HQE)이 대화형 검색에서 파assage 검색 성능 향상에 얼마나 효과적인가?
• RQ2 저자원 대화 환경에서 신경 전이 학습이 질의 재구성에 얼마나 기여하는가?
• RQ3 HQE와 NTR는 인간의 질의 재작성 방식을 어느 정도 모방할 수 있는가?
• RQ4 HQE와 NTR 출력을 융합하면 자동 및 수동 질의 재구성 간 성능 격차를 크게 줄일 수 있는가?
• RQ5 실제 대화형 검색 벤치마크에서 질의 재구성의 영향은 NDCG@3에 어떤가?

주요 결과

• HQE 방법은 TREC 2019 CAsT 트랙에서 자동 시스템 중 최고 성능을 기록했다.
• NTR 방법은 CAsT 최고 제출 성능 대비 NDCG@3에서 18% 향상시켜 신경 전이 학습의 강력한 성과를 입증했다.
• HQE와 NTR 출력을 융합함으로써 자동 생성된 질의와 수동으로 재작성된 질의 간 NDCG@3 성능 격차를 22점에서 단 4점으로 줄였다.
• 두 방법은 서로 다른 행동 방식을 보이며, HQE는 기록된 이전 질의의 어휘적 일치에 의존하고, NTR는 전이 학습을 통해 의미적 의도를 포착한다.
• 두 접근법의 융합은 더 견고하고 인간과 유사한 질의 재구성으로 이어져 수동 재작성과의 격차를 크게 좁혔다.
• 결과는 기존의 IR 기법과 신경 전이 학습을 융합함으로써 저자원 대화형 검색에서 뛰어난 성능을 달성할 수 있음을 확인한다.