[논문 리뷰] Do explanations increase the effectiveness of AI-crowd generated fake news warnings?

Ziv Epstein, N. Foppiani외 4명|arXiv (Cornell University)|2021. 12. 07.

Misinformation and Its Impacts인용 수 7

한 줄 요약

이 연구는 인공지능-인간 하이브리드 경고 레이블의 효과성을 높이기 위해 설명을 추가하는 것이 유의미한지 조사한다. 1,473명의 미국인을 대상으로 한 설문 조사에서, 경고 레이블이 있거나 설명이 추가된 경고 레이블이 모두 가짜 뉴스 공유에 대한 사용자 인지 능력을 향상시키지만, 설명이 자가 보고한 신뢰도를 유의미하게 높이지는 않는 것으로 나타났다. 이는 투명성 향상이 신뢰를 반드시 증가시키진 않지만 정보성은 향상시킬 수 있음을 시사한다.

ABSTRACT

Social media platforms are increasingly deploying complex interventions to help users detect false news. Labeling false news using techniques that combine crowd-sourcing with artificial intelligence (AI) offers a promising way to inform users about potentially low-quality information without censoring content, but also can be hard for users to understand. In this study, we examine how users respond in their sharing intentions to information they are provided about a hypothetical human-AI hybrid system. We ask i) if these warnings increase discernment in social media sharing intentions and ii) if explaining how the labeling system works can boost the effectiveness of the warnings. To do so, we conduct a study ($N=1473$ Americans) in which participants indicated their likelihood of sharing content. Participants were randomly assigned to a control, a treatment where false content was labeled, or a treatment where the warning labels came with an explanation of how they were generated. We find clear evidence that both treatments increase sharing discernment, and directional evidence that explanations increase the warnings' effectiveness. Interestingly, we do not find that the explanations increase self-reported trust in the warning labels, although we do find some evidence that participants found the warnings with the explanations to be more informative. Together, these results have important implications for designing and deploying transparent misinformation warning labels, and AI-mediated systems more broadly.

연구 동기 및 목표

• 인공지능-인간 하이브리드 가짜 뉴스 경고에 설명을 추가하면 사용자가 진위를 구분하는 능력이 향상되는지 평가하기.
• 설명이 경고 레이블에 대한 사용자 신뢰를 증가시키는지 아니면 단지 정보성 인식을 높일 뿐인지 평가하기.
• 높은 주의 집중도와 낮은 신뢰도가 특징인 환경에서 사용자가 하이브리드 인간-AI 가짜정보 레이블링 시스템에 반응하는 심리적 역학을 탐구하기.
• 전문가 사실 확인에 의존하지 않고도 투명하고 확장 가능한 가짜정보 대응 조치를 구현하는 데 있어 발생하는 설계 과제 해결하기.

제안 방법

• 미국 참가자 1,473명을 대상으로 가짜 뉴스 헤드라인과 진짜 뉴스 헤드라인에 대한 공유 의도를 평가하기 위해 무작위로 배정된 온라인 설문 조사 실시.
• 참가자를 세 조건 중 하나로 배정: 대조군(레이블 없음), 레이블 부여군(단지 인공지능-인간 경고), 설명 부여군(하이브리드 인간-AI 레이블링 과정 설명이 포함된 경고).
• 설명의 효과를 레이블 정확도와 분리하기 위해 100% 정확한 레이블링 시스템을 가정하여 분석.
• 자신감 있는 레이블에 대한 자가 보고된 신뢰도와 정보성 인식을 수집하여 설명의 심리적 영향 측정.
• 진위 뉴스에 대한 공유 의도 차이를 분석하여 사용자 인지 능력 향상 정도 측정.
• 정치적 성향과 유사 레이블 경험 유무를 통제하여 설명의 영향을 고립시키기.

실험 결과

연구 질문

• RQ1 인공지능-인간 하이브리드 시스템으로 가짜 뉴스를 레이블링하면 사용자의 공유 의도에서 진위를 구분하는 능력이 향상되는가?
• RQ2 레이블링 시스템 작동 방식에 대한 설명이 경고 레이블의 효과를 추가로 높이는가?
• RQ3 설명이 사용자의 자가 보고된 경고 레이블에 대한 신뢰도를 높이는가?
• RQ4 신뢰도는 높이지 않더라도 설명이 더 정보적인 것으로 인식되는가?
• RQ5 사용자가 레이블 출처(인공지능, 인간, 하이브리드)를 어떻게 인식하는지에 따라 경고의 효과성이 어떻게 달라지는가?

주요 결과

• 레이블 부여 및 설명 부여 모두 사용자의 공유 의도에서 가짜 뉴스 공유 가능성을 유의미하게 감소시켜 인지 능력 향상을 보였다.
• 참가자들은 설명이 없는 레이블보다 설명이 포함된 레이블이 더 정보적이라고 평가했지만, 이는 자가 보고된 신뢰도로 이어지지는 않았다.
• 설명이 경고의 효과를 높였다는 방향성 있는 증거가 있었지만, 통계적 유의성 기준에 도달하지는 않았다.
• 높은 정보성 인식에도 불구하고 신뢰도가 증가하지 않은 것은 인간-인간 인공지능 경고에서 인지적 이해와 정서적 신뢰 간의 분리 현상을 시사한다.
• 결과적으로 설명은 사용자 이해를 높일 수 있지만, 시스템의 신뢰성에 대한 자신감을 반드시 증가시키진 않는 것으로 나타났다.
• 결과는 하이브리드 인간-AI 시스템이 가짜정보 탐지의 확장 가능성을 지닐 수 있음을 지지하지만, 투명하고 효과적인 개입 조치를 설계하는 데 있어 복잡성이 존재함을 시사한다.