[論文レビュー] Future of Information Retrieval Research in the Age of Generative AI

James Allan, Eunsol Choi+2 more|arXiv (Cornell University)|Dec 3, 2024

Big Data Technologies and ApplicationsDecision Sciences被引用数 3

ひとこと要約

本論文は、生成的AIの時代における情報検索（IR）に関する2024年のビジョニング・ワークショップの知見を統合し、大規模言語モデル（LLMs）をIRシステムに統合する研究アジェンダを提案する。信頼性、評価、学際的連携を重視し、IRにおける生成的AIの進展を促進するための主な課題、機会、提言を概説する。

ABSTRACT

In the fast-evolving field of information retrieval (IR), the integration of generative AI technologies such as large language models (LLMs) is transforming how users search for and interact with information. Recognizing this paradigm shift at the intersection of IR and generative AI (IR-GenAI), a visioning workshop supported by the Computing Community Consortium (CCC) was held in July 2024 to discuss the future of IR in the age of generative AI. This workshop convened 44 experts in information retrieval, natural language processing, human-computer interaction, and artificial intelligence from academia, industry, and government to explore how generative AI can enhance IR and vice versa, and to identify the major challenges and opportunities in this rapidly advancing field. This report contains a summary of discussions as potentially important research topics and contains a list of recommendations for academics, industry practitioners, institutions, evaluation campaigns, and funding agencies.

研究の動機と目的

• 情報検索（IR）と生成的AI、特に大規模言語モデル（LLMs）の交差分野における変革的で革新的な研究機会を特定すること。
• 生成的AIのIRシステムへの統合に伴う課題、特に信頼性、評価、ユーザーの信頼性を解決すること。
• 学術界、産業界、政府関係者に対して、根拠に基づいた提言を通じてIR研究の進展を支援すること。
• IR、自然言語処理（NLP）、ヒューマンコンピュータインタラクション（HCI）、AIの分野を横断する共同研究を促進する共通の研究アジェンダを確立すること。
• 資金提供機関、評価キャンペーン、教育機関に対して、生成的AI時代における今後のIR研究の優先事項を示すこと。

提案手法

• 学術界、産業界、政府機関の44名の専門家を対象に、IR-GenAIの相乗効果を検討するビジョニング・ワークショップを実施した。
• 議論の成果を統合し、信頼性、評価、システム設計といった主要テーマに焦点を当てた構造的な研究アジェンダを策定した。
• 従来の評価指標（例：正確性、再現率）を超えた、LLM拡張IRシステムの評価フレームワークを提案した。
• IR-GenAIシステムにおいて、人間中心の設計とインタラクティブな評価の重要性を強調した。
• 将来のIRシステムの核となる要素として、検索拡張生成（RAG）、事実性の監視、検索の根拠付け（grounding）を特定した。
• 生成的IRユースケースに特化した標準化されたベンチマークと評価キャンペーンの開発を提言した。

実験結果

リサーチクエスチョン

• RQ1 生成的AIは、事実の正確性と信頼性を保ちながら、従来の情報検索システムをどのように強化できるか？
• RQ2 LLM拡張IRシステムの性能と信頼性を評価するためには、どのような新しい評価手法が必要か？
• RQ3 生成的AI出力における幻覚やバイアスのリスクを、検索文脈でどのようにIR研究が対処すべきか？
• RQ4 次世代のIRシステムに生成的AIを統合するにあたり、インタラクティブでユーザー中心の設計が果たすべき役割は何か？
• RQ5 学術界、産業界、政府機関は、大規模言語モデルの時代におけるIR研究を効果的かつ効率的に進めるために、どのように連携すべきか？

主な発見

• 生成的AIをIRに統合することは、画期的な機会をもたらすが、同時に事実の整合性やシステムの信頼性に関する重大な課題も伴う。
• 従来のIR評価指標ではLLM拡張システムの評価が不十分であるため、事実性、推論能力、ユーザー満足度に焦点を当てた新しいベンチマークの開発が不可欠である。
• 検索拡張生成（RAG）と根拠付け技術は、幻覚を低減し、生成的IRシステムの信頼性を向上させるために不可欠である。
• IR-GenAI分野における再現性のある研究を支援するため、標準化された評価キャンペーンと共有データセットの必要性が高まっている。
• システム設計とユーザーインタラクションの分野における新規課題に対処するには、IR、NLP、HCI、AIの分野を横断する学際的連携が不可欠である。
• 資金提供機関や機関は、信頼性があり、説明可能で、インタラクティブな生成的AI駆動のIRシステムに関する長期的で持続可能な研究を優先すべきである。