[論文レビュー] Delphic Costs and Benefits in Web Search: A utilitarian and historical analysis

Andrei Broder, Preston McAfee|arXiv (Cornell University)|Aug 15, 2023

Digital Marketing and Social MediaSocial Sciences被引用数 3

ひとこと要約

本論文は、認知的負担、時間、インタラクティビティ、誤情報などの非金銭的ユーザー体験要因である「デルフィックコストおよびベネフィット」の概念を導入し、ウェブ検索における検索エンジンの有効性を包括的にフレームワーク化する。検索エンジンの満足度は主にこれらのコストを最小限に抑え、ベネフィットを最大化することに起因すると主張し、クラシックIRからLLM駆動のチャットボットに至る技術進化が、この目的に駆動されてきたことを示している。

ABSTRACT

We present a new framework to conceptualize and operationalize the total user experience of search, by studying the entirety of a search journey from an utilitarian point of view. Web search engines are widely perceived as "free". But search requires time and effort: in reality there are many intermingled non-monetary costs (e.g. time costs, cognitive costs, interactivity costs) and the benefits may be marred by various impairments, such as misunderstanding and misinformation. This characterization of costs and benefits appears to be inherent to the human search for information within the pursuit of some larger task: most of the costs and impairments can be identified in interactions with any web search engine, interactions with public libraries, and even in interactions with ancient oracles. To emphasize this innate connection, we call these costs and benefits Delphic, in contrast to explicitly financial costs and benefits. Our main thesis is that the users' satisfaction with a search engine mostly depends on their experience of Delphic cost and benefits, in other words on their utility. The consumer utility is correlated with classic measures of search engine quality, such as ranking, precision, recall, etc., but is not completely determined by them. To argue our thesis, we catalog the Delphic costs and benefits and show how the development of search engines over the last quarter century, from classic Information Retrieval roots to the integration of Large Language Models, was driven to a great extent by the quest of decreasing Delphic costs and increasing Delphic benefits. We hope that the Delphic costs framework will engender new ideas and new research for evaluating and improving the web experience for everyone.

研究の動機と目的

• 精度や再現率といった伝統的指標を超えて、ユーザー体験の全範囲にわたるコストとベネフィットを組み込むことで、ウェブ検索の評価を再定式化すること。
• 認知的、時間的、インタラクティビティ、プライバシー、誤情報などの非金銭的コストを特定・分類し、検索の有効性に影響を与える要因とすること。
• 古代の神託の儀礼と現代のウェブ検索の間の類似点を明らかにし、情報検索における共通のユーザー体験の課題を強調すること。
• 検索エンジンの進化、特にLLM駆動のチャットボットの登場が、デルフィックコストの低減とデルフィックベネフィットの増大という目的に駆動されてきたことを分析すること。
• 検索にとどまらず、コンテンツフィードやレコメンデーションシステムにも適用可能な包括的で功利主義的な評価フレームワークを提唱すること。

提案手法

• 古代の神託の儀礼にたとえを借りて、ウェブ検索における総合的ユーザー体験をモデル化する新しい概念的枠組み「デルフィックコストおよびベネフィット」を提唱する。
• デルフィックコストを、アクセス、認知的負担、インタラクティビティ、時間的コスト、プライバシーのトレードオフ、および障害要因（誤解釈、誤 representation、誤情報、悪意ある情報、誤解釈、セキュリティ上の欠陥）に分類する。
• クラシックIRから現代のLLMチャットボットに至る検索エンジンの進化を、デルフィックコストの低減とベネフィットの向上の観点から分析する。
• チャットボットのクエリ作成および結果処理の負担低減、タスク遂行の向上、自然言語および音声対応の支援の能力に基づいて評価する。
• 遅延の増加、アクセスコスト、幻覚（ホールーシュネーション）のリスクといったトレードオフが、有効性の向上を相殺する可能性を評価する。
• 将来的な検索システムの評価は、個別のランク付けの質よりもユーザーの実用性を優先すべきであり、文脈、意図、最終的なタスク遂行を統合するべきだと提言する。

実験結果

リサーチクエスチョン

• RQ1 認知的負担、時間、誤情報といった非金銭的コストとベネフィットが、ウェブ検索におけるユーザー満足度にどのように影響を与えるか？
• RQ2 古代の神託と現代の検索エンジンとの間の歴史的類似性は、情報検索における持続的な課題をどの程度明らかにするか？
• RQ3 過去25年間における検索エンジンの発展が、デルフィックコストの低減とデルフィックベネフィットの最大化という目的にどの程度駆動されてきたか？
• RQ4 LLM駆動のチャットボットは、従来の検索エンジンと比較して、デルフィックコストおよびベネフィットをどのように低減または増大させるか？
• RQ5 デルフィックコストおよびベネフィットに基づく功利主義的で包括的な評価フレームワークは、精度や再現率といった伝統的指標を代替または補完できるか？

主な発見

• 認知的、時間的、インタラクティビティ、プライバシー、誤情報などのデルフィックコストは、古代の神託から現代の検索に至るまで、情報探求行動全般に根ざしたユーザー満足度の中心的要因である。
• LLM駆動のチャットボットの登場により、自然言語対応と要約された回答の提供によって、クエリ作成および結果処理のコストが顕著に低減され、タスク遂行の効率が向上した。
• チャットボットは、特に複雑なタスクや技術的タスク（例：コード生成、物語作成）において、クエリの作成および結果の受容におけるデルフィックコストを低減する。
• 利点がある一方で、チャットボットは遅延の増加、アクセスコスト、幻覚や誤情報のリスクを増大させ、信頼性を損なう可能性があり、検証作業を要するため、時間の節約が相殺されるおそれがある。
• チャットボットの洗練された出力は、実際には存在しない法的判例への引用を受け入れた専門家がいる事例のように、誤った信頼性の感覚を生み出すことがある。
• 検索システムの包括的評価は、ランク付けの質にとどまらず、ユーザーの文脈、タスク遂行、デルフィックコストおよびベネフィットの全範囲を含めるべきであり、真の有効性を反映するものでなければならない。