[論文レビュー] How does AI chat change search behaviors?

R. Capra, Jaime Arguello|arXiv (Cornell University)|Jul 7, 2023

AI in Service Interactions被引用数 11

ひとこと要約

ユーザーが組み合わせたチャット＋検索システム（GPT-3.5 API + Bing Web Search）を情報探索タスクへ統合する初期の探索的研究で、統合パターン、動機、信頼性の課題、そして心的モデルを明らかにする。

ABSTRACT

Generative AI tools such as chatGPT are poised to change the way people engage with online information. Recently, Microsoft announced their "new Bing" search system which incorporates chat and generative AI technology from OpenAI. Google has announced plans to deploy search interfaces that incorporate similar types of technology. These new technologies will transform how people can search for information. The research presented here is an early investigation into how people make use of a generative AI chat system (referred to simply as chat from here on) as part of a search process, and how the incorporation of chat systems with existing search tools may effect users search behaviors and strategies. We report on an exploratory user study with 10 participants who used a combined Chat+Search system that utilized the OpenAI GPT-3.5 API and the Bing Web Search v5 API. Participants completed three search tasks. In this pre-print paper of preliminary results, we report on ways that users integrated AI chat into their search process, things they liked and disliked about the chat system, their trust in the chat responses, and their mental models of how the chat system generated responses.

研究の動機と目的

• 情報探索タスク中に、生成型AIチャットを従来の検索プロセスへ統合する方法を調査する。
• なぜユーザーがAIチャットを利用するのか、またそれについて良い点・悪い点を特定する。
• AI生成回答へのユーザーの信頼と、チャット出力がどのように生成されるか、ユーザーの心的モデルを検討する。

提案手法

• OpenAI GPT-3.5 API and Bing Web Search v5 API を使用して、組み合わせたチャット＋検索インターフェースを開発する。
• 3つの情報探索タスクを実行する10名の参加者を対象とした、被験者内実験を実施する。
• 思考 aloud プロトコル、画面録画、半構造化インタビューを用いて、ユーザーの行動と認識を分析する。

実験結果

リサーチクエスチョン

• RQ1 RQ1. ユーザーは検索プロセスにチャットをどう統合するのか。
• RQ2 RQ2. なぜユーザーはチャットを利用するのか。
• RQ3 RQ3. ユーザーはチャットの何を好むのか。
• RQ4 RQ4. ユーザーはチャットの何を嫌うのか。
• RQ5 RQ5. ユーザーはチャットの回答を信頼するのか。
• RQ6 RQ6. ユーザーはチャットの回答がどのように生成され、何を基にしていると考えているのか。

主な発見

• ユーザーはチャットを3つの主要な方法で統合する：使わない、ウェブ検索中の素早いQ&Aに使う、あるいは背景情報・サブトピックを得るためにまず使う。
• チャットは未知のトピックの出発点として働き、情報の要約と統合を素早く行うのを助ける。
• 参加者は簡潔な回答と情報の統合を評価しており、予備的な探索を速めることができる。
• 不満点には、過度に一般的または反復的なチャット出力や、証拠への出典・直接リンクの欠如がある。
• チャットへの信頼は混在しており、多くは懐疑的でウェブソースからの検証を求め、信頼はトピックの馴染み度に依存する。
• ユーザーはチャットの出所とソースについて様々な心的モデルを持ち、一部は返されたウェブ結果への直接リンクを想定するが、多くは理解が不完全である。