[論文レビュー] Trusting the Search: Unraveling Human Trust in Health Information from Google and ChatGPT

Xin Sun, Rongjun Ma+5 more|arXiv (Cornell University)|Mar 15, 2024

Social Media in Health Education被引用数 12

ひとこと要約

この研究は、GoogleとChatGPTから得られる健康情報に対するユーザー信頼を比較し、ChatGPTの方が信頼度が高いこと、そして信頼を形成する要因を特定している。

ABSTRACT

People increasingly rely on online sources for health information seeking due to their convenience and timeliness, traditionally using search engines like Google as the primary search agent. Recently, the emergence of generative Artificial Intelligence (AI) has made Large Language Model (LLM) powered conversational agents such as ChatGPT a viable alternative for health information search. However, while trust is crucial for adopting the online health advice, the factors influencing people's trust judgments in health information provided by LLM-powered conversational agents remain unclear. To address this, we conducted a mixed-methods, within-subjects lab study (N=21) to explore how interactions with different agents (ChatGPT vs. Google) across three health search tasks influence participants' trust judgments of the search results as well as the search agents themselves. Our key findings showed that: (a) participants' trust levels in ChatGPT were significantly higher than Google in the context of health information seeking; (b) there is a significant correlation between trust in health-related information and trust in the search agent, however only for Google; (c) the type of search tasks did not affect participants' perceived trust; and (d) participants' prior knowledge, the style of information presentation, and the interactive manner of using search agents were key determinants of trust in the health-related information. Our study taps into differences in trust perceptions when using traditional search engines compared to LLM-powered conversational agents. We highlight the potential role LLMs play in health-related information-seeking contexts, where they excel as stepping stones for further search. We contribute key factors and considerations for ensuring effective and reliable personal health information seeking in the age of generative AI.

研究の動機と目的

• GoogleとChatGPT間で個人の健康情報に対する知覚的信頼が異なるかを調査する。
• これらの検索エージェントを横断して健康情報に対する知覚的信頼に寄与する要因を特定する。
• タスクタイプ、既知情報、情報提示、および対話スタイルが信頼にどのように影響するかを調べる。

提案手法

• GoogleとChatGPTを健康情報検索エージェントとして比較したN=21の被検査内実験研究。
• Yahooデータセットから出典された健康情報タスクを開放形式で実施。参加者はクエリを反復したり、追補質問を行えた。
• タスク後 survey は 健康情報および検索エージェントに対する信頼を測定。半構造化インタビューは信頼因子を探索。
• 情報への信頼は、検証済みの11項目スケールで測定（Cronbach’s alpha .95）。
• 検索エージェントへの信頼は、15項目の指標で測定（Cronbach’s alpha .62）。
• データは二要因反復測定ANOVA、対応のあるt検定、相関分析、およびインタビューの主題分析で分析。

実験結果

リサーチクエスチョン

• RQ1 RQ1: GoogleとChatGPT間で個人の健康関連情報に対する知覚信頼は異なるか？
• RQ2 RQ2: これらの異なる検索エージェントを横断して個人の健康情報に対する知覚信頼に寄与する要因は何か？

主な発見

出典	SS	ddof1	ddof2	F	p値	eps
検索エージェント	2.34	1	20	6.73	.017	1.00
検索タスク	0.24	2	40	0.63	.48	.68
検索エージェント × 検索タスク	0.06	2	40	0.20	.78	.83

• ChatGPTからの健康情報に対する信頼はGoogleより高かった。
• 健康関連情報への信頼と検索エージェントへの信頼の間には有意な相関があるが、Googleのみである。
• タスクタイプは知覚信頼に有意な影響を与えなかった。
• 既知情報、提示スタイル、検索エージェントの対話的使用が健康情報に対する信頼の主要な決定要因だった。
• 参加者は検索エージェントとしてのChatGPTに全体的に高い信頼を示した（情報への平均信頼: Google 3.77、ChatGPT 4.05、5点尺度）。
• 検索エージェントへの平均信頼: Google 3.31、ChatGPT 3.58、5点尺度。