[論文レビュー] Birdwatch: Crowd Wisdom and Bridging Algorithms can Inform Understanding and Reduce the Spread of Misinformation

Stefan Wojcik, Sophie Hilgard+6 more|arXiv (Cornell University)|Oct 27, 2022

Misinformation and Its Impacts被引用数 34

ひとこと要約

本論文は、多様な視点に情報価値を持つ群衆由来の注釈を選択する行列分解ベースのブリッジングアルゴリズムを提案し、調査と実利用を通じて、これらの注釈が理解を高め、Twitter上の潜在的に誤解を招く投稿の共有を減少させることを示している。

ABSTRACT

We present an approach for selecting objectively informative and subjectively helpful annotations to social media posts. We draw on data from on an online environment where contributors annotate misinformation and simultaneously rate the contributions of others. Our algorithm uses a matrix-factorization (MF) based approach to identify annotations that appeal broadly across heterogeneous user groups - sometimes referred to as "bridging-based ranking." We pair these data with a survey experiment in which individuals are randomly assigned to see annotations to posts. We find that annotations selected by the algorithm improve key indicators compared with overall average and crowd-generated baselines. Further, when deployed on Twitter, people who saw annotations selected through this bridging-based approach were significantly less likely to reshare social media posts than those who did not see the annotations.

研究の動機と目的

• ソーシャルメディア上の誤情報と戦うために、高品質で広く情報価値のある群衆注釈の必要性を喚起する。
• 多様なユーザ視点に訴える注釈を特定するための MF ベースのブリッジングアルゴリズムを開発する。
• アルゴリズムで選択された注釈が情報性と有用性の認識を高めるかを評価する。
• 実世界の Twitter 展開で、注釈付き投稿がユーザーの共有行動に与える影響を評価する。

提案手法

• Birdwatch データから、要素 r_un を {0,1,null} とする疎な評価者-ノート行列を構築する。
• 行列を因子分解して、ユーザとノートの潜在ベクトル f_u, f_n および切片 μ, i_u, i_n を学習する。
• 切片の幅広い訴求力を強調するため、切片に対して強い正則化を施した正則化最小二乗目的関数でパラメータを学習する。
• ノートの切片 i_n の閾値（≥0.40、≤-0.08、それ以外）に基づいて、ノートを 'helpful', 'not helpful', または 'needs more ratings' とラベル付けする。
• MFを再実行して最終的なラベリングを行う前に、低品質な評価者を除外する評価者有用性フィルタを実装する。
• 3つの調査ウェーブ（ノートへの暴露をランダム化）を用いて情報性と有用性を測定し、ベースライン（ノートの平均、超多数決）と比較する。

実験結果

リサーチクエスチョン

• RQ1 RQ1：アルゴリズムで選択された Birdwatch のノートは、多様な政治的見解に対して理解を促進し、広く有用であると言えるか、超多数決ベースラインよりも優れているか？
• RQ2 RQ2：ツイートの正確性の評価は、ツイートの主張に対する同意の信頼できる代替指標になるか？
• RQ3 RQ3：群衆が生成した注釈は、潜在的に誤解を招く情報の拡散を Twitter で減らすか？

主な発見

• ブリッジングベースの MF アルゴリズムで選択されたノートは、多様な政治的見解において有用であると認識される。
• アルゴリズムで選択されたノートは、潜在的に誤解を招く可能性のあるツイートについて、全体の平均や群衆ベースラインと比較して情報性を改善する。
• アルゴリズムで選択された注釈に曝露されると、ユーザーは注釈付き投稿を再共有したりいいねしたりする可能性が低くなる。
• 情報性のある注釈に曝露した場合の読者の理解に関する因果評価と、調査ベースの証拠が一致する。
• ブリッジングベースのスコアリング手法は、広く情報性の高い群衆注釈を特定し、現実のデプロイで共有行動を減少させることができる。