[논문 리뷰] Countering Misinformation on Social Media Through Educational Interventions: Evidence from a Randomized Experiment in Pakistan

Sajid Ali, Ihsan Ayyub Qazi|arXiv (Cornell University)|2021. 07. 06.

Misinformation and Its Impacts인용 수 11

한 줄 요약

이 도시 파키스탄에서 실시된 무작위 실험은 저디지털리터러시 사용자들 사이에서 가짜 뉴스 탐지 능력을 향상시키기 위한 교육적 개입을 시험한다. 일반적인 영상 교육은 효과가 없었지만, 기초 평가 이후 개인화된 피드백은 가짜 뉴스 식별 능력을 0.14 표준편차 향상시켰으며, 이는 디지털 리터러시 프로그램에서 맞춤형 설계의 중요성을 시사한다.

ABSTRACT

Fake news is a growing problem in developing countries with potentially far-reaching consequences. We conduct a randomized experiment in urban Pakistan to evaluate the effectiveness of two educational interventions to counter misinformation among low-digital literacy populations. We do not find a significant effect of video-based general educational messages about misinformation. However, when such messages are augmented with personalized feedback based on individuals' past engagement with fake news, we find an improvement of 0.14 standard deviations in identifying fake news. We also find negative but insignificant effects on identifying true news, driven by female respondents. Our results suggest that educational interventions can enable information discernment but their effectiveness critically depends on how well their features and delivery are customized for the population of interest.

연구 동기 및 목표

• 개발도상국의 저디지털리터러시 사용자들 사이에서 가짜 뉴스 탐지 능력을 향상시키기 위한 교육적 개입의 효과를 평가하기 위해.
• 일반적인 교육 영상만으로도 오해의 취약성 감소에 기여하는지 검토하기 위해.
• 과거 가짜 뉴스에 대한 참여 기록을 바탕으로 개인화된 피드백을 제공함으로써 정보 식별 능력 향상 여부를 시험하기 위해.
• 성별 및 독서 능력 기반의 교육 개입에 대한 반응 격차를 탐구하기 위해.
• 믿음 형성과 뉴스 평가에 대한 개입 효과의 장기적 지속성 평가하기 위해.

제안 방법

• 파키스탄 라호르의 도시 클러스터 100개에 걸쳐 750명의 참가자들을 대상으로 군집화된 무작위 대조 실험을 실시하였다.
• 파키스탄에서 실제로 유통된 실제 소셜미디어 기사들을 사용하여 기초 단계에서의 가짜 뉴스 식별 능력을 측정하였다.
• 한 치료군에 국문으로 된 일반적인 교육 영상을 제공하여 오해의 일반적 특징을 교육하였다.
• 두 번째 치료군에는 과거에 응답한 가짜 뉴스와 특정 기만의 징후 사이의 연결을 맺는 개인화된 피드백을 제공하였다.
• 신규로 제시된 진실된 뉴스와 가짜 뉴스 기사에 대한 신념 변화를 평가하기 위해 두 차례의 종료 시점 설문조사를 실시하였다.
• 실험자 요구 효과를 배제하고 결과의 타당성을 확보하기 위해 탄력성 검증을 실시하였다.

실험 결과

연구 질문

• RQ1 일반적인 영상 기반 교육 개입이 개인의 가짜 뉴스 식별 능력에 유의미한 영향을 미치는가?
• RQ2 과거 가짜 뉴스 참여에 대한 개인화된 피드백을 추가함으로써 교육 개입의 효과가 향상되는가?
• RQ3 특히 진실된 뉴스에 대한 회의론적 태도와 관련하여 성별에 따라 다른 효과가 나타나는가?
• RQ4 교육 개입 효과가 시간이 지남에 따라 얼마나 지속되는가?
• RQ5 특히 코로나19와 같은 민감한 주제에 대해 교육 개입이 오해에 대한 믿음을 얼마나 줄이는가?

주요 결과

• 일반적인 영상 기반 교육만으로는 가짜 뉴스 식별 능력에 통계적으로 유의미한 영향을 미치지 못했다.
• 영상 교육과 개인화된 피드백의 조합은 가짜 뉴스 식별 능력을 0.14 표준편차 향상시켰다.
• 개인화된 피드백 그룹에서는 가짜 뉴스와 진실된 뉴스 식별 능력이 각각 0.076 표준편차 향상되었다.
• 여성 응답자들은 진실된 뉴스 식별 능력에서 유의미한 부정적 영향을 보였으며, 이는 정확한 콘텐츠에 대한 회의론이 증가했음을 시사한다.
• 개입 효과는 시간이 지나도 유지되어 장기적인 학습 효과가 있음을 나타낸다.
• 연구는 저디지털리터러시 수준이 낮은 개인들과 여성들 사이에서 참여율이 낮게 나타났으며, 이는 형평성 측면에서의 설계 과제를 시사한다.