[論文レビュー] Countering Misinformation on Social Media Through Educational Interventions: Evidence from a Randomized Experiment in Pakistan

Sajid Ali, Ihsan Ayyub Qazi|arXiv (Cornell University)|Jul 6, 2021

Misinformation and Its Impacts被引用数 11

ひとこと要約

このランダム化実験は、パキスタン都市部における低デジタルリテラシーを持つユーザーを対象に、フェイクニュースの検出を改善する教育的介入を検証する。一般の動画教育は効果がなかったが、ベースライン評価後のパーソナライズドフィードバックは、フェイクニュースの識別を0.14標準偏差向上させた。これは、デジタルリテラシー教育プログラムにおける適合設計の重要性を示している。

ABSTRACT

Fake news is a growing problem in developing countries with potentially far-reaching consequences. We conduct a randomized experiment in urban Pakistan to evaluate the effectiveness of two educational interventions to counter misinformation among low-digital literacy populations. We do not find a significant effect of video-based general educational messages about misinformation. However, when such messages are augmented with personalized feedback based on individuals' past engagement with fake news, we find an improvement of 0.14 standard deviations in identifying fake news. We also find negative but insignificant effects on identifying true news, driven by female respondents. Our results suggest that educational interventions can enable information discernment but their effectiveness critically depends on how well their features and delivery are customized for the population of interest.

研究の動機と目的

• 発展途上国における低デジタルリテラシーを持つユーザーのフェイクニュース検出能力を向上させる教育的介入の有効性を評価すること。
• 一般教育動画のみで誤情報への感受性が低下するかどうかを検討すること。
• 過去のフェイクニュースへの関与に基づくパーソナライズドフィードバックが、情報の識別能力を高めるかどうかをテストすること。
• 教育的介入への反応における性別およびリテラシー水準の差を調査すること。
• 介入効果が信念形成およびニュース評価に与える長期的持続性を評価すること。

提案手法

• パキスタン・ラホールの都市部100のクラスタにまたがる750名の参加者を対象に、クラスタ化されたランダム化比較試験を実施した。
• パキスタンで実際に流通したソーシャルメディアのストーリーを用いて、フェイクニュースの識別能力をベースラインで測定した。
• 全国語で作成された一般教育動画を、1つの処置群に提供し、誤情報の一般的な特徴を学習させるようにした。
• 2番目の処置群には、過去のフェイクニュースへの回答と、欺瞞の具体的な兆候を結びつけるパーソナライズドフィードバックを提供した。
• 新しい真実およびフェイクニュースのストーリーに関する信念の変化を評価するため、2回のエンドライン調査を実施した。
• 実験者バイアスの影響を除外し、結果の妥当性を保証するためのレジリエンス・チェックを実施した。

実験結果

リサーチクエスチョン

• RQ1 一般動画ベースの教育的介入は、個人のフェイクニュース識別能力を有意に向上させるか？
• RQ2 過去のフェイクニュースへの関与に関するパーソナライズドフィードバックを追加することで、教育的介入の効果が高まるか？
• RQ3 性別に特化した効果、特に真実のニュースに対する懐疑心に関連して、顕著な差が生じるか？
• RQ4 教育的介入の効果は、時間の経過とともに持続するか？
• RQ5 教育的介入は、特にCOVID-19のような感受性の高いトピックに関して、誤情報への信ぴょうをどの程度低下させるか？

主な発見

• 一般動画ベースの教育のみでは、フェイクニュースの識別能力に統計的に有意な効果が認められなかった。
• 動画教育とパーソナライズドフィードバックの併用により、フェイクニュース識別能力が0.14標準偏差向上した。
• パーソナライズドフィードバック群では、フェイクニュースおよび真実のニュースの識別能力がそれぞれ0.076標準偏差向上した。
• 女性参加者では、真実のニュースを識別する能力に有意な悪影響が認められ、正確なコンテンツに対する懐疑心が高まったことが示唆された。
• 介入効果は時間の経過とともに持続しており、学習効果の持続性が裏付けられた。
• 本研究では、デジタルリテラシーが低い人々および女性の参加率が低く、公平性を確保するためのデザイン上の課題が浮き彫りになった。