[논문 리뷰] Generating Multi-Aspect Queries for Conversational Search

Zahra Abbasiantaeb, Lupart, Simon외 1명|arXiv (Cornell University)|2024. 03. 28.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 대화형 정보 검색을 위한 Generate-then-Retrieve (GTR) 프레임워크를 제안하며, 대규모 언어 모델(Large Language Models, LLMs)을 활용해 단일 LLM 생성 답변에서 다수의 다양한 쿼리를 생성함으로써 단일 쿼리 방법보다 검색 성능을 향상시킨다. 실험 결과, 복잡한 다중 사실 쿼리에서 특히 LLM의 답변 기반 쿼리 생성이 표준 검색 방식을 뛰어넘는 성능을 보이며, 높은 판단 커버리지로 인해 공정한 평가가 가능한 GPT-3.5 기반 평가 풀이 새로운 평가 기준을 제공한다.

ABSTRACT

Conversational information seeking (CIS) systems aim to model the user's information need within the conversational context and retrieve the relevant information. One major approach to modeling the conversational context aims to rewrite the user utterance in the conversation to represent the information need independently. Recent work has shown the benefit of expanding the rewritten utterance with relevant terms. In this work, we hypothesize that breaking down the information of an utterance into multi-aspect rewritten queries can lead to more effective retrieval performance. This is more evident in more complex utterances that require gathering evidence from various information sources, where a single query rewrite or query representation cannot capture the complexity of the utterance. To test this hypothesis, we conduct extensive experiments on five widely used CIS datasets where we leverage LLMs to generate multi-aspect queries to represent the information need for each utterance in multiple query rewrites. We show that, for most of the utterances, the same retrieval model would perform better with more than one rewritten query by 85% in terms of nDCG@3. We further propose a multi-aspect query generation and retrieval framework, called MQ4CS. Our extensive experiments show that MQ4CS outperforms the state-of-the-art query rewriting methods. We make our code and our new dataset of generated multi-aspect queries publicly available.

연구 동기 및 목표

• 단일 쿼리 재작성의 한계를 해결하기 위해, 복잡하고 다중 사실 기반의 사용자 정보 필요성을 포괄하지 못하는 대화형 정보 검색(IR) 문제를 해결한다.
• LLM이 생성한 답변에서 단일 재작성 쿼리에 의존하는 것 대신, 다수의 다양한 쿼리를 생성하여 대화형 검색의 검색 성능을 향상시킨다.
• 공식 평가에서 낮은 판단된 패스제이션 비율로 인해 불공평한 평가가 발생하는 문제를 해결하기 위해, GPT-3.5의 판단을 활용해 새로운 고커버리지 평가 풀을 생성함으로써 TREC iKAT에 대해 더 신뢰할 수 있는 평가 기준을 마련한다.
• LLM의 추론 능력과 지식을 활용해 복잡한 대화형 쿼리에 적합한 효과적인 검색 최적화 쿼리를 생성할 수 있는지 탐구한다.

제안 방법

• Answer then Query then Retrieve(AQD) 파이프라인 제안: 먼저 LLM을 사용해 근거 있는 답변을 생성한 후, 그 답변을 다수의 검색 쿼리로 분해한다.
• LLM을 활용해 생성된 답변에서 최대 다섯 개의 다양하고 사실 중심의 쿼리를 생성하여 사용자 정보 필요의 다양한 측면을 커버한다.
• 각 생성된 쿼리에 대해 별도로 검색을 수행한 후 하이브리드 검색 전략을 사용해 결과를 혼합하고 재정렬한다.
• 원래 LLM이 생성한 답변을 재정렬 신호로 사용하는 AQD_A라는 변형을 도입한다.
• 직접 LLM에게 답변하기 전에 쿼리를 생성하도록 프롬프트하는 QD(Query then Decide) 기반선을 구현하여 쿼리 품질을 비교한다.
• 133개의 대화 전환에 대해 GPT-3.5를 활용해 새로운 고커버리지 관련성 평가 풀을 생성하였으며, 총 19,413건의 관련성 판단을 포함한다. 이를 통해 검색 성능 평가의 공정성을 높였다.

Figure 1: An example conversation with a complex user request. The system in this case generates three distinct queries from the initial answer and searches for every query in the passage collection. Then it reads and reasons over the top passages to generate the final grounded answer.

실험 결과

연구 질문

• RQ1 LLM의 내부 지식과 추론 능력을 활용해 Generate-then-Retrieve 파이프라인에서 대화형 패스제이션 검색 성능을 향상시킬 수 있는가?
• RQ2 LLM의 추론 능력을 활용해 검색에 적합하고 관련성이 높은 다수의 쿼리를 생성할 수 있는가? 이는 검색 효과성을 향상시킬 수 있는가?
• RQ3 복잡한 대화형 검색에서 다중 쿼리 생성 방식이 단일 쿼리 재작성 및 직접 쿼리 생성 방식보다 성능에서 어떻게 다를까?
• RQ4 GPT-3.5가 생성한 관련성 판단이 인간 평가와 얼마나 일치하는가? 이는 검색 시스템 평가의 공정성을 높일 수 있는가?

주요 결과

• AQD 및 AQD_A 방법은 표준 검색 기반선과 단일 쿼리 방법보다 유의미하게 뛰어난 성능을 보이며, 특히 더 깊은 대화(전환 수 >14)에서 맥락 모델링이 더 복잡해지는 상황에서 두드러진다.
• LLM이 생성한 답변에서 쿼리를 생성하는 AQD 접근 방식은 LLM에게 직접 쿼리를 생성하도록 프롬프트하거나 답변을 그대로 쿼리로 사용하는 것보다 더 효과적인 쿼리를 생성한다.
• 공식 TREC iKAT 평가 풀은 상위 10개 결과 내에서 판단된 패스제이션 비율이 매우 낮아(약 2건/런) 성능 비교가 불공평하고 오해의 소지가 있다.
• 새로운 GPT-3.5 기반 평가 풀은 이진 분류에서 인간 관련성 판단과 66.84%의 일치도를 보이며, 평가의 신뢰성을 입증한다.
• 새로운 GPT-3.5 평가 풀에서 AQD 및 AQD_A 모델은 뛰어난 검색 성능을 확보하였으며, 이는 공식 평가가 낮은 판단 커버리지로 인해 이들의 방법에 대해 편향되어 있었음을 시사한다.
• 본 연구는 LLM이 생성한 답변에서 다수의 쿼리를 생성함으로써 복잡한 사고 체계 추론 시나리오에서 관련 사실의 커버리지가 향상됨을 확인하였다. 특히 다수의 실체나 속성을 포함하는 경우에 유의미한 효과를 보였다.

Figure 2: Judged@10 metric in TREC iKAT official relevance assessments for the first 10 passages returned by each model.