[論文レビュー] The Effectiveness of Digital Interventions on COVID-19 Attitudes and Beliefs

Susan Athey, Kristen Grabarz+2 more|arXiv (Cornell University)|Jun 21, 2022

Misinformation and Its Impacts被引用数 6

ひとこと要約

本研究は、新型コロナウイルス感染症のパンデミック期における、174の公衆衛生機関がフェイスブックおよびインスタグラムで実施したデジタル広告キャンペーンの有効性を評価している。21億インプレッションにわたる819件のランダム化実験を用いて、これらのキャンペーンは平均して自己報告された信念を0.55パーセンテージポイントシフトさせたが、影響を受けた1人あたりの費用は3.41ドルであり、特にワクチンに関する知識と信頼の向上に顕著な効果を示した。

ABSTRACT

During the course of the COVID-19 pandemic, a common strategy for public health organizations around the world has been to launch interventions via advertising campaigns on social media. Despite this ubiquity, little has been known about their average effectiveness. We conduct a large-scale program evaluation of campaigns from 174 public health organizations on Facebook and Instagram that collectively reached 2.1 billion individuals and cost around \$40 million. We report the results of 819 randomized experiments that measured the impact of these campaigns across standardized, survey-based outcomes. We find on average these campaigns are effective at influencing self-reported beliefs, shifting opinions close to 1% at baseline with a cost per influenced person of about \$3.41. There is further evidence that campaigns are especially effective at influencing users' knowledge of how to get vaccines. Our results represent, to the best of our knowledge, the largest set of online public health interventions analyzed to date.

研究の動機と目的

• ソーシャルメディア広告キャンペーンがCOVID-19に関する公衆の態度や信念に与える因果的影響を評価すること。
• 大規模なデジタル公衆衛生介入の費用対効果を評価すること。
• ワクチン接種の意思、知識、信頼といった特定の成果—特にそれらがデジタル広告に対してどれほど反応するかを同定すること。
• 今後の公衆衛生キャンペーンにおけるデジタル広告の使用に向けた、証拠に基づいたベストプラクティスを提供すること。
• 個々の実験における統計的パワーの低さを解消するために、819件のランダム化試験のデータを統合すること。

提案手法

• フェイスブックおよびインスタグラムで実施された174の公衆衛生機関の819件のランダム化実験のメタアナリシスを実施した。
• ユーザー単位のランダム化を用いて、広告露出が標準化されたアンケート結果に与える因果的影響を推定した。
• ワクチン接種の意思、重要性、有効性、安全性、情報源への信頼、ワクチン接種の可及性に関する知識、社会的規範の7つの主要な成果についてのアンケートデータを収集した。
• 一貫性のある比較を可能にするために、応答を二値の成果（例：「ワクチン接種を受ける意思がある」対「受ける意思がない」）に分類した。
• キャンペーン全体にわたる結果を集約し、統計的精度を向上させた平均処置効果を推定した。
• 推定された効果サイズに基づき、広告費合計（3940万ドル）を影響を受けた人数で割ることで、影響を受けた1人あたりの費用を算出した。

実験結果

リサーチクエスチョン

• RQ1 デジタル広告キャンペーンが自己報告されたCOVID-19に関する態度や信念に与える平均因果的影響は何か？
• RQ2 これらのデジタル公衆衛生キャンペーンは、公衆の態度に影響を与える上でどの程度費用対効果が良いか？
• RQ3 ワクチンに関する知識、信頼、または意思といった特定の成果の中で、どれがデジタル介入に対して最も反応するか？
• RQ4 広告デザインのどの特徴が、公衆の信念に与える影響を高める関連があるか？
• RQ5 大規模なランダム化実験のメタアナリシスは、個々のキャンペーン評価における統計的パワーの低さを克服できるか？

主な発見

• 平均してキャンペーンは自己報告された肯定的反応を0.55パーセンテージポイント（p = 2e-13）シフトさせ、ベースラインの肯定的割合は55.7％であった。
• 影響を受けた1人あたりの平均費用は3.41ドルであり、これは公衆の態度に影響を与えるために比較的低い費用であることを示している。
• キャンペーンは特にワクチンの接種方法に関する知識の向上に強く効果的であり、実行可能な情報に与える強い影響を示している。
• 本データセットは、ランダム化実験を用いて評価された、オンライン公衆衛生介入のうち、知られている最大のものである。
• 成功したキャンペーンでは、信頼できる発信者、明確な問題提起、簡潔なテキスト、縦型動画フォーマット、明確な行動喚起が共通して見られた。
• 1人あたりの効果が小さくても、広範なカバレッジを考慮すると、これらのキャンペーンは公衆の態度に意味のある集団レベルのシフトを生じさせうる。