[論文レビュー] The Use of Generative Search Engines for Knowledge Work and Complex Tasks

Siddharth Suri, Scott Counts+12 more|arXiv (Cornell University)|Mar 19, 2024

Semantic Web and Ontologies被引用数 5

ひとこと要約

本論文は、生成型検索エンジン（Bing Copilot）が知識作業や複雑なタスクにどのように用いられるかを実証的に分析し、従来の検索に比べてタスクの認知的複雑性が高いことを示している。

ABSTRACT

Until recently, search engines were the predominant method for people to access online information. The recent emergence of large language models (LLMs) has given machines new capabilities such as the ability to generate new digital artifacts like text, images, code etc., resulting in a new tool, a generative search engine, which combines the capabilities of LLMs with a traditional search engine. Through the empirical analysis of Bing Copilot (Bing Chat), one of the first publicly available generative search engines, we analyze the types and complexity of tasks that people use Bing Copilot for compared to Bing Search. Findings indicate that people use the generative search engine for more knowledge work tasks that are higher in cognitive complexity than were commonly done with a traditional search engine.

研究の動機と目的

• 知識作業および複雑なタスクにおいて、生成型検索エンジンが従来の検索を補完する、または置換するという理解を喚起する。
• 生成型検索エンジンを用いてユーザーが実行するタスクの種類を、従来の検索エンジンと比較して特徴づける。
• 生成型検索エンジンによって可能になる知識作業の認知的複雑性と性質を評価する。
• 生成型検索ツールの設計・利用・ガバナンスに資する実証的洞察を提供する。

提案手法

• 生成型検索エンジンである Bing Copilot と Bing Search の実証分析。
• 二つのシステム間でのタスクタイプと認知的複雑性の比較。
• おそらくユーザーインタラクションデータとタスク分類を含み、知識作業と単純な検索タスクを識別する。
• 結果が成果物や解決策の作成にどのように使用されるかについての記述統計と質的観察。

実験結果

リサーチクエスチョン

• RQ1 生成型検索エンジンを用いてユーザーはどのようなタスクを実行するのか、従来の検索エンジンと比較して。
• RQ2 生成型検索エンジンは知識作業におけるより高い認知的複雑性のタスクを、従来の検索エンジンよりもサポートしているか。
• RQ3 知識作業と複雑なタスクにおける生成型検索エンジンの使用の影響は何か。
• RQ4 現実のタスクで生成型検索エンジンの出力とどのように相互作用し、活用するのか。

主な発見

• 生成型検索エンジンは、従来の検索で一般的に行われるものより認知的複雑性の高い知識作業タスクに使用される。
• ユーザーは生成された成果物と統合情報を活用して、複雑な問題解決を支援する。
• この研究は、生成型検索エンジンが知識作業で価値を付加するタスクの種類について実証的な証拠を提供する。