[論文レビュー] Advancing the Search Frontier with AI Agents

Ryen W. White|arXiv (Cornell University)|Nov 2, 2023

AI-based Problem Solving and Planning被引用数 5

ひとこと要約

本稿では、自然言語理解、タスクモデリング、マルチステップ推論を統合することで、複雑な検索タスクの前進を実現する変容的エージェントとしてのAIコ-pilotの提案を行う。生成的AIを活用することで、コ-pilotはタスクの階層構造（マクロタスク、サブタスク、アクション）にわたってエンドツーエンドの支援を可能にし、特に定義が不明瞭で、複数回にわたるセッションにまたがり、認知的に負荷の高いクエリにおいて検索完了を向上させる。

ABSTRACT

As many of us in the information retrieval (IR) research community know and appreciate, search is far from being a solved problem. Millions of people struggle with tasks on search engines every day. Often, their struggles relate to the intrinsic complexity of their task and the failure of search systems to fully understand the task and serve relevant results. The task motivates the search, creating the gap/problematic situation that searchers attempt to bridge/resolve and drives search behavior as they work through different task facets. Complex search tasks require more than support for rudimentary fact finding or re-finding. Research on methods to support complex tasks includes work on generating query and website suggestions, personalizing and contextualizing search, and developing new search experiences, including those that span time and space. The recent emergence of generative artificial intelligence (AI) and the arrival of assistive agents, based on this technology, has the potential to offer further assistance to searchers, especially those engaged in complex tasks. There are profound implications from these advances for the design of intelligent systems and for the future of search itself. This article, based on a keynote by the author at the 2023 ACM SIGIR Conference, explores these issues and how AI agents are advancing the frontier of search system capabilities, with a special focus on information interaction and complex task completion.

研究の動機と目的

• 従来の検索エンジンがタスクの複雑さとシステム理解の不足により解決できない、継続的な課題である複雑な検索タスクに対処する。
• AIコ-pilotが時間的・デバイス的・アプリケーション的要因を越えて、マルチステップで定義が不明瞭なタスクをどのようにモデリングし支援できるかを調査する。
• マクロタスク、サブタスク、アクションを表すためのタスクツリー枠組みを構築し、より良いシステムモデリングとユーザーサポートを実現する。
• コ-pilotを生産性ツールやWebエコシステムに統合し、シームレスで文脈に即した支援を可能にする。
• 検証可能性、効率性、責任あるAI実践を通じて、AIコ-pilotの展開における信頼性、プライバシー、持続可能性を確保する。

提案手法

• マクロタスク（高レベルの目的）、サブタスク（構成要素）、アクション（ユーザーフェーズ）を含む階層的タスクツリーとして複雑なタスクを表現する。
• 大規模言語モデル（LLM）を活用し、自然言語理解によりユーザーメインの目的を解釈し、タスクに即した応答を生成する。
• 会話的で複数回のやり取りが可能な対話インターフェースを提供し、クエリやセッションをまたいでタスク進行状況を追跡する。
• ブラウザーや生産性ツールなどのアプリケーションにコ-pilotを統合し、文脈認識を活かして関連性を向上させる。
• LLMを用いてタスク予測、分解、認識を支援し、ユーザーニーズを予測し、次のステップを提案する。
• プライバシーを守りつつ効率的な推論パイプラインを設計し、大規模モデル使用に伴うコストと炭素排出量を低減する。

Figure 1. Task tree representation for a complex task involving planning a vacation to Paris, France. The tree depicts different task granularities (macrotask, subtask, action) and different task applications (decomposition, prediction, recognition) as moves around the tree. Time progresses from lef

実験結果

リサーチクエスチョン

• RQ1 AIコ-pilotは、従来の検索エンジンが解決できない複雑でマルチステップの検索タスクの完了をどのように向上させることができるか？
• RQ2 タスクツリーによるタスクモデリングは、システムが複雑な検索行動を理解し支援するうえで果たす役割は何か？
• RQ3 コ-pilotをアプリケーションやデバイスを越えて効果的に統合し、エンドツーエンドのタスク実行を支援するにはどうすればよいか？
• RQ4 大規模なAIコ-pilotを展開するにあたり、経済的・持続可能性的課題は何か、そしてそれらをどのように軽減できるか？
• RQ5 パフォーマンスを損なわせることなく、信頼性、検証可能性、ユーザーユーザー制御をどのように維持できるか？

主な発見

• Web検索の半数が未解決のまま残っており、主に現在の検索システムが対応できない複雑で定義が不明瞭なタスクが原因である。
• AIコ-pilotは、自然言語理解と生成を活用することで、マクロタスクやサブタスクの支援を可能にし、タスクの範囲を著しく拡大する。
• タスクツリーは、複雑な検索タスクをモデル化するための構造的フレームワークを提供し、複数のクエリやセッションにわたる進行状況の追跡と支援を可能にする。
• ブラウザーや生産性ツールへのコ-pilot統合により、文脈に即した支援が可能になり、関連性とタスク完了率が向上する。
• 大規模モデルの推論は高コストかつ環境に与える影響が大きく、スケーラビリティと持続可能性を確保するには、モデルの特化と適応的計算が不可欠である。
• 信頼性と検証可能性は極めて重要であり、ユーザーがコ-pilotの出力を検証できるようにすることで、「再利用のパラドックス」を回避し、コンテンツ品質とクリエイターの持続可能性を確保できる。

Figure 2. Microsoft’s copilot stack depicting the various layers and the important role of AI safety across the stack.