[論文レビュー] Large Language Models for Information Retrieval: A Survey

Yutao Zhu, Huaying Yuan+8 more|arXiv (Cornell University)|Aug 14, 2023

Topic Modeling被引用数 92

ひとこと要約

この調査は、 information retrieval (IR) への大規模言語モデル (LLMs) の適用を、クエリ書き換え、リトリーバ、リランカー、リーダー、検索エージェントの分野で概観し、方法、課題、方向性を強調する。

ABSTRACT

As a primary means of information acquisition, information retrieval (IR) systems, such as search engines, have integrated themselves into our daily lives. These systems also serve as components of dialogue, question-answering, and recommender systems. The trajectory of IR has evolved dynamically from its origins in term-based methods to its integration with advanced neural models. While the neural models excel at capturing complex contextual signals and semantic nuances, thereby reshaping the IR landscape, they still face challenges such as data scarcity, interpretability, and the generation of contextually plausible yet potentially inaccurate responses. This evolution requires a combination of both traditional methods (such as term-based sparse retrieval methods with rapid response) and modern neural architectures (such as language models with powerful language understanding capacity). Meanwhile, the emergence of large language models (LLMs), typified by ChatGPT and GPT-4, has revolutionized natural language processing due to their remarkable language understanding, generation, generalization, and reasoning abilities. Consequently, recent research has sought to leverage LLMs to improve IR systems. Given the rapid evolution of this research trajectory, it is necessary to consolidate existing methodologies and provide nuanced insights through a comprehensive overview. In this survey, we delve into the confluence of LLMs and IR systems, including crucial aspects such as query rewriters, retrievers, rerankers, and readers. Additionally, we explore promising directions, such as search agents, within this expanding field.

研究の動機と目的

• IRの構成要素（クエリ書き換え、リトリーバ、リランカー、リーダー）に適用されたLLMの最近の進展を統合し、分析する。
• LLMsがIRパイプラインにどのように組み込まれるかを説明し、データ不足や幻視（ハルシネーション）といった実践的な課題を特定する。
• 技術（プロンプティング、ファインチューニング、コーパス強化手法）と評価の側面を論じる。
• 検索エージェントを含む、エンドツーエンドのLLM駆動IRモデルを含む将来の方向性を探る。

提案手法

• IRの背景とIRに関連するLLMの概念の調査。
• IRモジュール（クエリ書き換え、リトリーバ、リランカー、リーダー）の分類と、それらのLLM強化バリアント。
• IRタスクにおけるプロンプティング戦略、ファインチューニング、知識蒸留についての検討。
• クエリ書き換えにおけるコーパス強化対LLMオンリーアプローチの分析。
• 統一されたLLM駆動IRパラダイムとしての検索エージェント（例: WebGPT）の概要。

実験結果

リサーチクエスチョン

• RQ1 LLMsは現在、IRモジュール（クエリ書き換え、リトリーバ、リランカー、リーダー）にどのように統合されており、その利点と限界は何ですか？
• RQ2 アドホック検索と対話検索を通じて、どのプロンプティング戦略、学習体系、コーパス統合がLLMを用いた最良のIR性能を生み出しますか？
• RQ3 IRにおけるLLMの展開時の主要な課題（データ不足、幻視、解釈性）は何であり、どのように緩和できますか？
• RQ4 IRタスクの自動化とユーザー体験の向上における検索エージェントの役割と可能性は何ですか？
• RQ5 LLMsを用いたIR研究を指導すべき将来の方向性と未解決の問題は何ですか？

主な発見

• LLMsは、アドホック検索と対話検索のためのクエリ書き換えを拡張・明確化することで強化に用いられる。
• コーパス強化したLLMベースの書き換え手法は、外部文書を活用して書き換えの関連性と事実性を向上させる。
• 主な3つの書き換えアプローチ：プロンプティング、ファインチューニング、知識蒸留であり、IRアプリケーションではプロンプティングが顕著である。
• LLMsは、書き換え以外にもリトリーバ、リランカー、リーダーなどを通じてIRに寄与し、より文脈対応の生成回答を可能にする。
• 検索エージェントは自動検索と結果理解をモデル化し、エンドツーエンドのLLM駆動IRワークフロー（例: WebGPT）を可能にする。
• この分野は、データ不足と堅牢性に対処するため、従来のIRの効率（例: BM25）とニューラル意味表現能力のバランスを重視している。