[논문 리뷰] The Effectiveness of Digital Interventions on COVID-19 Attitudes and Beliefs

Susan Athey, Kristen Grabarz외 2명|arXiv (Cornell University)|2022. 06. 21.

Misinformation and Its Impacts인용 수 6

한 줄 요약

이 연구는 코로나19 패an드림 기간 동안 페이스북과 인스타그램에서 174개의 공중보건 기관이 수행한 디지털 광고 캠페인의 효과를 평가한다. 총 21억 번의 노출를 포함한 819개의 랜덤화 실험을 통해, 이러한 캠페인은 평균적으로 자가 보고한 신념을 0.55%p만큼 이동시켰으며, 영향을 받은 사람당 비용은 3.41달러였으며, 특히 백신 지식과 신뢰도 향상에서 뛰어난 성과를 보였다.

ABSTRACT

During the course of the COVID-19 pandemic, a common strategy for public health organizations around the world has been to launch interventions via advertising campaigns on social media. Despite this ubiquity, little has been known about their average effectiveness. We conduct a large-scale program evaluation of campaigns from 174 public health organizations on Facebook and Instagram that collectively reached 2.1 billion individuals and cost around \$40 million. We report the results of 819 randomized experiments that measured the impact of these campaigns across standardized, survey-based outcomes. We find on average these campaigns are effective at influencing self-reported beliefs, shifting opinions close to 1% at baseline with a cost per influenced person of about \$3.41. There is further evidence that campaigns are especially effective at influencing users' knowledge of how to get vaccines. Our results represent, to the best of our knowledge, the largest set of online public health interventions analyzed to date.

연구 동기 및 목표

• 소셜 미디어 광고 캠페인이 코로나19에 대한 대중의 태도와 신념에 미치는 인과적 영향을 평가하기 위해.
• 대규모 스케일에서 디지털 공중보건 개입의 비용 효율성을 평가하기 위해.
• 백신 수용 의지, 지식, 신뢰도 등 특정 결과 중에서 디지털 광고에 가장 민감하게 반응하는 것이 무엇인지 파악하기 위해.
• 디지털 광고를 활용한 향후 공중보건 캠페인을 위한 근거 기반 최선의 실천 방안을 제공하기 위해.
• 개별 실험의 통계적 검정력이 낮은 문제를 해결하기 위해 819개의 랜덤화 시험에서 데이터를 통합하기 위해.

제안 방법

• 페이스북과 인스타그램에서 174개의 공중보건 기관이 수행한 819개의 랜덤화 실험을 메타분석하였다.
• 사용자 수준의 무작위 배정을 통해 광고 노출이 표준화된 설문 결과에 미치는 인과적 영향을 추정하였다.
• 백신 접종 의지, 중요도, 효과성, 안전성, 소스에 대한 신뢰도, 백신 접종 접근성 지식, 사회적 규범 등 일곱 가지 핵심 결과에 대해 설문 데이터를 수집하였다.
• 일致한 비교를 위해 응답을 이진 결과(예: '백신을 맞을 의향이 있음' 대비 '의향이 없음')로 분류하였다.
• 캠페인 간 결과를 집계하여 통계적 정밀도를 향상시킨 평균 치료 효과를 추정하였다.
• 총 광고 지출액(3940만 달러)을 기반으로 추정된 효과 크기에서 영향을 받은 사람 수로 나누어 영향을 받은 사람당 비용을 계산하였다.

실험 결과

연구 질문

• RQ1 디지털 광고 캠페인이 자가 보고한 코로나19 태도와 신념에 대해 평균적으로 어떤 인과적 영향을 미치는가?
• RQ2 이러한 디지털 공중보건 캠페인은 대중 태도 영향을 주는 데 얼마나 비용 효율적인가?
• RQ3 백신 지식, 신뢰도, 수용 의지 등 특정 결과 중에서 디지털 개입에 가장 민감하게 반응하는 것은 무엇인가?
• RQ4 광고 디자인의 어떤 특성이 대중 신념 영향력 향상과 관련이 있는가?
• RQ5 랜덤화 실험의 대규모 메타분석이 개별 캠페인 평가의 낮은 통계적 검정력을 극복할 수 있는가?

주요 결과

• 평균적으로 캠페인은 자가 보고된 긍정적 응답을 0.55%p만큼 이동시켰다(p = 2e-13), 기저 긍정 비율은 55.7%였다.
• 영향을 받은 사람당 평균 비용은 3.41달러였으며, 이는 대중 태도 영향을 주는 데 상대적으로 저비용임을 시사한다.
• 캠페인은 백신 접종 접근성에 대한 지식 향상에 특히 효과적이었으며, 실행 가능한 정보에 대한 강력한 영향을 미쳤다.
• 이 데이터셋은 랜덤화 실험을 통해 평가된 가장 큰 온라인 공중보건 개입의 집합으로 알려져 있다.
• 성공적인 캠페인은 일반적으로 신뢰할 수 있는 메신저, 명확한 문제 제기, 간결한 텍스트, 종방향 비디오 형식, 강력한 행동 유도 문구를 포함했다.
• 개개인에 대한 영향은 작지만, 광범위한 대상에 도달하는 데서 이러한 캠페인은 태도에 의미 있는 인구 수준의 변화를 유도할 수 있다.