[논문 리뷰] Few-Shot Generative Conversational Query Rewriting

Yu Shi, Jiahua Liu외 5명|arXiv (Cornell University)|2020. 06. 09.

Topic Modeling참고 문헌 2인용 수 7

한 줄 요약

이 논문은 일시적 검색 세션에서 규칙 기반 및 자기지도 학습 방법을 활용한 약한 감독을 통해 소수의 샘플을 사용한 대화형 쿼리 재작성에 대한 생성적 접근법을 제안한다. TREC CAsT 2019에서 50개의 수동 재작성만으로 GPT-2를 미세조정하면 최신 기술 대비 NDCG@3에서 12% 향상되며, 이는 강력한 소수 샘플 일반화 능력과 장기 대화 핵심 참조를 포함한 맥락 의존성의 효과적 포착을 보여준다.

ABSTRACT

Conversational query rewriting aims to reformulate a concise conversational query to a fully specified, context-independent query that can be effectively handled by existing information retrieval systems. This paper presents a few-shot generative approach to conversational query rewriting. We develop two methods, based on rules and self-supervised learning, to generate weak supervision data using large amounts of ad hoc search sessions, and to fine-tune GPT-2 to rewrite conversational queries. On the TREC Conversational Assistance Track, our weakly supervised GPT-2 rewriter improves the state-of-the-art ranking accuracy by 12%, only using very limited amounts of manual query rewrites. In the zero-shot learning setting, the rewriter still gives a comparable result to previous state-of-the-art systems. Our analyses reveal that GPT-2 effectively picks up the task syntax and learns to capture context dependencies, even for hard cases that involve group references and long-turn dependencies.

연구 동기 및 목표

• 수동 재작성이 비용이 많이 들고 희소한 저자원 대화형 쿼리 재작성 문제를 해결하기 위해.
• GPT-2와 같은 사전 훈련된 언어 모델이 단지 몇 개의 수동 재작성으로도 효과적으로 일반화할 수 있는지 탐색하기 위해.
• 대규모 수동 애너테이션에 의존하지 않고도 효과적인 쿼리 재작성 모델을 훈련하기 위해 풍부한 일시적 검색 세션을 활용한 약한 감독 기법을 개발하기 위해.
• 기존 검색 모델과의 호환성을 높이기 위해 맥락에 의존하지 않는, 맥락 제거된 쿼리를 생성함으로써 대화형 정보 검색 시스템의 성능을 향상시키기 위해.

제안 방법

• 일시적 검색 세션에서 반복되는 명사구를 생략하거나 공통 참조하는 규칙 기반 방법을 사용해 약한 감독 데이터를 생성한다.
• 소량의 수동 재작성 데이터를 활용해 자기지도 학습된 GPT-2 모델을 훈련하여 일시적 쿼리를 더 대화적이고 맥락 의존적인 형태로 단순화한다.
• 약한 감독 데이터를 기반으로 GPT-2를 미세조정하여 대화형 검색 세션에 적합한 맥락 인식 쿼리 재작성 결과를 도출한다.
• TREC CAsT의 단지 50개의 대화형 세션만을 사용해 교차 검증 및 소수 샘플 미세조정을 수행하여 일반화 능력을 평가한다.
• NDCG@3 및 BLEU 점수를 사용해 모델 성능을 평가하고, 기준 모델 및 오라클 재작성 결과와 비교한다.
• 핵심 참조 해결 및 맥락 의존성 처리에 중점을 두어 사례 연구를 통해 모델의 행동을 분석한다.

실험 결과

연구 질문

• RQ1 GPT-2가 TREC CAsT 2019에서 최신 기술 대비 NDCG@3에서 12% 향상되며, 이는 강력한 소수 샘플 일반화 능력과 장기 대화 핵심 참조를 포함한 맥락 의존성의 효과적 포착을 보여준다.
• RQ2 규칙 기반 및 자기지도 학습 방법이 일시적 검색 세션에서 약한 감독 데이터를 얼마나 효과적으로 생성하는가?
• RQ3 GPT-2와 같은 사전 훈련된 언어 모델이 광범위한 미세조정 없이도 쿼리 재작성의 문법적 및 의미적 특성을 얼마나 잘 학습할 수 있는가?
• RQ4 장기 대화 의존성과 그룹 참조를 포함한 어려운 케이스에 대해 모델이 잘 일반화되는가?
• RQ5 기존 최신 기술 대비 소수 샘플 및 제로 샘플 설정에서 모델의 성능은 어떻게 변하는가?

주요 결과

• 단지 50개의 수동 재작성된 대화형 세션만으로 GPT-2를 미세조정하면 TREC CAsT 2019에서 최고의 자동 런 대비 NDCG@3에서 12% 향상된다.
• 제로 샘플 설정에서 약한 감독된 GPT-2 모델은 이전 최신 기술 자동 시스템과 비교해 유사한 성능을 달성한다.
• GPT-2는 단지 세 개의 대화형 세션만으로도 질문형 재작성 결과를 생성하고, 성별 불명확한 대명사 및 핵심 참조를 정확히 해결할 수 있다.
• 모델은 다중 턴 맥락을 효과적으로 포착하여 여러 턴에 걸쳐 안정적인 성능을 유지한다.
• BLEU 점수는 NDCG와 강하게 상관관계가 있으며, 더 나은 쿼리 재작성 결과가 더 높은 검색 정확도를 이끌어낸다는 것을 확인한다.
• 사례 연구 결과, GPT-2는 세 턴에 걸친 복잡한 그룹 참조를 정확히 해결하는 것으로 나타났지만, 애매한 참조로 인해 가끔 맥락을 놓치는 경우가 있다.