[논문 리뷰] Trusting the Search: Unraveling Human Trust in Health Information from Google and ChatGPT

Xin Sun, Rongjun Ma외 5명|arXiv (Cornell University)|2024. 03. 15.

Social Media in Health Education인용 수 12

한 줄 요약

이 연구는 Google과 ChatGPT에서 얻은 건강 정보에 대한 사용자 신뢰를 비교하여 ChatGPT에 대한 신뢰가 더 높음을 밝히고 신뢰를 형성하는 요인을 식별합니다.

ABSTRACT

People increasingly rely on online sources for health information seeking due to their convenience and timeliness, traditionally using search engines like Google as the primary search agent. Recently, the emergence of generative Artificial Intelligence (AI) has made Large Language Model (LLM) powered conversational agents such as ChatGPT a viable alternative for health information search. However, while trust is crucial for adopting the online health advice, the factors influencing people's trust judgments in health information provided by LLM-powered conversational agents remain unclear. To address this, we conducted a mixed-methods, within-subjects lab study (N=21) to explore how interactions with different agents (ChatGPT vs. Google) across three health search tasks influence participants' trust judgments of the search results as well as the search agents themselves. Our key findings showed that: (a) participants' trust levels in ChatGPT were significantly higher than Google in the context of health information seeking; (b) there is a significant correlation between trust in health-related information and trust in the search agent, however only for Google; (c) the type of search tasks did not affect participants' perceived trust; and (d) participants' prior knowledge, the style of information presentation, and the interactive manner of using search agents were key determinants of trust in the health-related information. Our study taps into differences in trust perceptions when using traditional search engines compared to LLM-powered conversational agents. We highlight the potential role LLMs play in health-related information-seeking contexts, where they excel as stepping stones for further search. We contribute key factors and considerations for ensuring effective and reliable personal health information seeking in the age of generative AI.

연구 동기 및 목표

• Google과 ChatGPT 사이에서 개인 건강 정보에 대한 지각 신뢰가 차이가 있는지 조사합니다.
• 이 검색 에이전트들 간의 건강 정보에 대한 지각 신뢰에 기여하는 요인들을 식별합니다.
• 작업 유형, 사전 지식, 정보 제시 방식, 상호작용 스타일이 신뢰에 미치는 영향을 검토합니다.

제안 방법

• Google과 ChatGPT를 건강 정보 검색 에이전트로 비교하는 N=21의 피실험자 내실험입니다.
• Yahoo 데이터셋에서 수집한 건강 정보 오픈형 과제; 참가자들은 질의 반복 및 팔로업 질의가 가능했습니다.
• 과제 후 설문으로 건강 정보 및 검색 에이전트에 대한 신뢰를 측정했고, 반구조화된 인터뷰를 통해 신뢰 요인을 탐색했습니다.
• 정보에 대한 신뢰는 11개 항목의 검증된 척도(Cronbach’s alpha .95)로 측정했습니다.
• 검색 에이전트에 대한 신뢰는 15개 항목의 도구로 측정했고 Cronbach’s alpha .62였습니다.
• 데이터는 2-와이(Measures) 반복분산분석, 대응표본 t검정, 상관분석, 인터뷰의 주제 분석으로 분석되었습니다.

실험 결과

연구 질문

• RQ1 RQ1: 사람들의 개인 건강 관련 정보에 대한 지각 신뢰가 Google과 ChatGPT 사이에서 차이가 있습니까?
• RQ2 RQ2: 이러한 다른 검색 에이전트들 간의 개인 건강 정보에 대한 지각 신뢰에 기여하는 요인은 무엇입니까?

주요 결과

• ChatGPT로부터 얻은 건강 정보에 대한 신뢰가 Google보다 높았습니다.
• 건강 관련 정보에 대한 신뢰와 검색 에이전트에 대한 신뢰 사이에는 유의한 상관관계가 있지만 Google의 경우에만 해당됩니다.
• 작업 유형은 지각 신뢰에 상당한 영향을 미치지 않았습니다.
• 사전 지식, 제시 방식, 검색 에이전트의 상호작용적 사용이 건강 정보에 대한 신뢰의 핵심 결정 요인이었습니다.
• 참가자들은 검색 에이전트로서 ChatGPT에 대해 더 높은 전반적 신뢰를 보였습니다(정보에 대한 평균 신뢰: Google 3.77, ChatGPT 4.05, 5점 척도).
• 검색 에이전트에 대한 평균 신뢰: Google 3.31, ChatGPT 3.58, 5점 척도에서.