[論文レビュー] Generating Multi-Aspect Queries for Conversational Search

Zahra Abbasiantaeb, Lupart, Simon+1 more|arXiv (Cornell University)|Mar 28, 2024

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、大規模言語モデル（LLM）を活用して、1つのLLM生成回答から複数の多様なクエリを生成するGenerate-then-Retrieve（GTR）フレームワークを提案する。このアプローチにより、単一クエリ手法に比べて検索性能が向上する。実験の結果、特に複雑で多Factなクエリにおいて、LLMの回答に基づくクエリ生成が標準的な検索を著しく上回り、GPT-3.5ベースの新たな評価プールにより、より公平な評価が可能になった。

ABSTRACT

Conversational information seeking (CIS) systems aim to model the user's information need within the conversational context and retrieve the relevant information. One major approach to modeling the conversational context aims to rewrite the user utterance in the conversation to represent the information need independently. Recent work has shown the benefit of expanding the rewritten utterance with relevant terms. In this work, we hypothesize that breaking down the information of an utterance into multi-aspect rewritten queries can lead to more effective retrieval performance. This is more evident in more complex utterances that require gathering evidence from various information sources, where a single query rewrite or query representation cannot capture the complexity of the utterance. To test this hypothesis, we conduct extensive experiments on five widely used CIS datasets where we leverage LLMs to generate multi-aspect queries to represent the information need for each utterance in multiple query rewrites. We show that, for most of the utterances, the same retrieval model would perform better with more than one rewritten query by 85% in terms of nDCG@3. We further propose a multi-aspect query generation and retrieval framework, called MQ4CS. Our extensive experiments show that MQ4CS outperforms the state-of-the-art query rewriting methods. We make our code and our new dataset of generated multi-aspect queries publicly available.

研究の動機と目的

• 会話型情報検索における単一クエリ再ライティングの限界、特に複雑で多Factなユーザーの情報ニーズを捉えきれない点を是正すること。
• LLMが生成した回答から単一の再ライティングクエリに依存するのではなく、複数の多様なクエリを生成することで、会話型検索における検索性能を向上させること。
• 公式評価で低めの関連性判定率が見られる問題を克服し、GPT-3.5の判断を用いて生成された高カバレッジの評価プールにより、TREC iKATのより信頼性の高い評価ベンチマークを構築すること。
• LLMの推論力と知識を活用して、複雑な会話型クエリに最適化された、より効果的なクエリを生成できるかを調査すること。

提案手法

• まずLLMを用いて根拠のある回答を生成し、次にその回答を複数の検索クエリに分解するAQD（Answer then Query then Retrieve）パイプラインを提案する。
• 生成された回答から、ユーザーの情報ニーズの異なる側面をカバーする、最大5つの多様で事実特化型のクエリをLLMが生成する。
• 各生成クエリに対して独立して検索を実行し、ハイブリッド検索戦略を用いて結果をインターリーブして再ランク付けする。
• 元のLLM生成回答を再ランク付け信号として用いるAQD_Aという変種を導入する。
• 回答を生成する前に直接クエリを生成するようLLMにプロンプトするQD（Query then Decide）ベースラインを実装し、クエリ品質を比較する。
• 133の会話的ターンにわたり、GPT-3.5を用いて19,413件の関連性判定を含む、高カバレッジの新たな関連性評価プールを構築する。これにより、検索性能の公平な評価が可能になる。

Figure 1: An example conversation with a complex user request. The system in this case generates three distinct queries from the initial answer and searches for every query in the passage collection. Then it reads and reasons over the top passages to generate the final grounded answer.

実験結果

リサーチクエスチョン

• RQ1 LLMの内部知識と推論能力を活用することで、Generate-then-Retrieveパイプラインにおいて会話型パラグラフ検索の性能を向上させられるか？
• RQ2 LLMの推論能力を活用して、複数の関連性があり、検索可能なクエリを生成することで、検索効果性を向上させられるか？
• RQ3 複数クエリ生成の性能は、単一クエリ再ライティングや直接的クエリ生成と比較して、複雑な会話型検索においてどのように異なるか？
• RQ4 GPT-3.5が生成する関連性判定は人間の評価とどの程度一致するか？また、検索システムの公平な評価を支援できるか？

主な発見

• AQDおよびAQD_A手法は、標準的な検索ベースラインや単一クエリ手法を著しく上回り、特に会話の深さが増す（ターン数 >14）状況では、文脈モデリングがより複雑になるため顕著に優れた性能を示す。
• LLMの回答からクエリを生成するAQDアプローチは、LLMに直接クエリ生成を促すか、回答そのものをクエリとして使用する手法よりも、より効果的なクエリを生成する。
• 公式のTREC iKAT評価プールでは、上位10件のうちの関連性判定済みパラグラフの割合が非常に低く（1ランクあたり約2件）、性能比較が不公正で誤解を招く結果となっている。
• 新たに作成されたGPT-3.5ベースの評価プールは、二値分類において人間の関連性判定と66.84％の一致率を示し、評価の信頼性が裏付けられた。
• AQDおよびAQD_Aモデルは、新規のGPT-3.5評価プール上で優れた検索性能を達成しており、公式評価が判定カバレッジが低いため、これらの手法に偏りが生じていたことが示された。
• 本研究では、LLMが生成した回答から複数のクエリを生成することで、特に複数のエンティティや属性を含むチェーン・オブ・トゥオンクの推論シナリオにおいて、関連する事実のカバレッジが向上することを確認した。

Figure 2: Judged@10 metric in TREC iKAT official relevance assessments for the first 10 passages returned by each model.