[논문 리뷰] Battling the Coronavirus Infodemic Among Social Media Users in Kenya and Nigeria

Molly Offer‐Westort, Leah R. Rosenzweig외 1명|arXiv (Cornell University)|2022. 12. 27.

Misinformation and Its Impacts인용 수 7

한 줄 요약

이 연구는 케냐와 나이지리아에서 페이스북에서의 코로나19 가짜정보 공유를 줄이기 위한 간 interventions 를 두 단계 실험 설계로 테스트한다. 정확성 고려를 유도하는 '누드'가 가짜정보 공유를 4.9% 감소시켰으며(−2.3pp, p = 0.021), 사실 정보 공유에 악영향을 주지 않아, 정보 유포 문제 해결을 위한 저비용이고 확장 가능한 솔루션을 제공한다.

ABSTRACT

How can we induce social media users to be discerning when sharing information during a pandemic? An experiment on Facebook Messenger with users from Kenya (n = 7,498) and Nigeria (n = 7,794) tested interventions designed to decrease intentions to share COVID-19 misinformation without decreasing intentions to share factual posts. The initial stage of the study incorporated: (i) a factorial design with 40 intervention combinations; and (ii) a contextual adaptive design, increasing the probability of assignment to treatments that worked better for previous subjects with similar characteristics. The second stage evaluated the best-performing treatments and a targeted treatment assignment policy estimated from the data. We precisely estimate null effects from warning flags and related article suggestions, tactics used by social media platforms. However, nudges to consider information's accuracy reduced misinformation sharing relative to control by 4.9% (estimate = -2.3 pp, s.e. = 1.0 , Z = -2.31, p = 0.021, 95% CI = [-4.2 , -0.35]). Such low-cost scalable interventions may improve the quality of information circulating online.

연구 동기 및 목표

• 소셜 미디어에서 코로나19 가짜정보 공유를 줄이되 사실 정보 공유를 억제하지 않는 효과적이고 저비용의 간 interventions 를 특정하는 것.
• 플랫폼 수준의 도구인 경고 레이블과 사실 확인 링크와 비교하여 심리적 누드(예: 정보 정확성 평가를 유도하는 것)가 더 우수한지 평가하는 것.
• 사용자 특성 기반의 타겟팅된 치료 배정 정책을 개발하고 테스트하여 적응형 학습을 통해 간 interventions 의 효과를 높이는 것.
• 디지털 리터러시와 가짜정보 역학이 글로벌 남반구와 다를 수 있는 아프리카 서부 지역에서의 비교적 증거를 기여하는 것.
• 행동 과학에 기반한 간 interventions 가 표준 플랫폼 메커니즘보다 유해한 건강 가짜정보 확산을 줄이는 데 더 효과적인지 평가하는 것.

제안 방법

• 케냐와 나이지리아의 15,292명의 페이스북 사용자를 대상으로 페이스북 메신저 챗봇을 통한 두 단계의 랜덤화 실험을 실시했다.
• 학습 단계에서 맥락 기반 적응 설계를 사용하여 유사한 특성을 가진 사용자에게 성과가 양호한 간 interventions 의 배정 확률을 높였다.
• 공변량을 조정하고 균형 잡히지 않은 간 interventions 의 배정을 고려하기 위해 일반화된 보정된 역확률 가중 추정기(AIPW)를 사용했다.
• 평가 단계에서 제어군, 사실 확인 레이블, 관련 기사 제안, 정확성 누드, 페이스북의 가짜정보 팁, 그리고 학습된 타겟팅 정책의 여섯 가지 조건을 비교했다.
• 학습 및 평가 데이터에서 별도로 간 효과를 추정하였으며, 비정규성에 대응하기 위해 로버스트 표준오차와 적응형 가중치를 사용했다.
• AIPW 추정기에서 조건부 평균을 예측하기 위해 랜덤 포레스트 모델을 사용하여, 동일한 단위의 결과를 사용하지 않는 단위 수준의 예측을 보장했다.

실험 결과

연구 질문

• RQ1 정확성 중심의 누드가 사실 정보 공유를 줄이지 않으면서도 코로나19 가짜정보 공유 의도를 줄이는가?
• RQ2 플랫폼 수준의 간 interventions(예: 경고 레이블, 관련 기사 제안)이 행동적 누드보다 가짜정보 공유를 줄이는 데 더 효과적인가?
• RQ3 사용자 특성 기반의 적응형 간 interventions 배정 정책이 균일한 랜덤 배정보다 가짜정보 공유를 줄이는 데 더 효과적인가?
• RQ4 저디지털 리터러시 환경에서 인지적 참여를 유도하는 간 interventions(예: 정확성 검토를 유도하는 것)가 외부 검증 기반 간 interventions(예: 사실 확인 레이블)보다 더 효과적인가?
• RQ5 케냐와 나이지리아의 사용자 하위 집단 간 간 효과의 이질성이 있는가? 그리고 어떤 사용자 특성이 다양한 간 interventions 에 대한 반응성을 예측하는가?

주요 결과

• 경고 레이블과 관련 기사 제안은 두 연구 단계 모두에서 가짜정보 공유 감소에 통계적으로 유의미한 영향을 미치지 않았으며, 둘 다 영향 없음 추정치를 보였다.
• 정보 정확성 고려를 유도하는 누드가 가짜 코로나19 게시물 공유 의도를 4.9%포인트 감소시켰다(추정치 = −2.3pp, 표준오차 = 1.0, Z = −2.31, p = 0.021).
• 정확성 누드는 공유 식별 능력을 유의미하게 향상시켰으며, 이는 가짜 공유에 대해 사실 공유의 두 배로 가중된 복합 결과를 반영한다.
• 사용자 특성에 기반해 응답자 수준의 간 interventions 를 다르게 배정하는 학습된 타겟팅 정책은 균일한 배정보다 성능이 향상되었다.
• 사실 정보 공유에 유의미한 부정적 영향이 관찰되지 않아, 정확성 누드가 진짜 콘텐츠 공유를 억제하지 않았음을 시사한다.
• 이 연구의 결과는 저비용이고 확장 가능한 행동적 누드가 저소득 및 중간소득 국가 환경에서 플랫폼 수준의 사실 확인 도구보다 가짜정보 확산을 줄이는 데 더 효과적일 수 있음을 시사한다.