[論文レビュー] Informed Crowds Can Effectively Identify Misinformation.

Paul Resnick, Aljohara Alfayez+2 more|arXiv (Cornell University)|Aug 17, 2021

Misinformation and Its Impacts参考文献 8被引用数 12

ひとこと要約

本研究では、特に個別または共同で記事を調査するよう促された情報に基づいたクラウドワーカーが、個別のジャーナリストよりも誤情報の特定に優れていることを示している。個別研究条件では偏見が低減し、16名以上のクラウドワーカーから成るパネルは、保有されたジャーナリストの評価と一致する指標で、専門ジャーナリストを上回る正確性を示した。

ABSTRACT

Can crowd workers be trusted to judge whether news-like articles circulating on the Internet are wildly misleading, or does partisanship and inexperience get in the way? We assembled pools of both liberal and conservative crowd raters and tested three ways of asking them to make judgments about 374 articles. In a no research condition, they were just asked to view the article and then render a judgment. In an individual research condition, they were also asked to search for corroborating evidence and provide a link to the best evidence they found. In a collective research condition, they were not asked to search, but instead to look at links collected from workers in the individual research condition. The individual research condition reduced the partisanship of judgments. Moreover, the judgments of a panel of sixteen or more crowd workers were better than that of a panel of three expert journalists, as measured by alignment with a held out journalist's ratings. Without research, the crowd judgments were better than those of a single journalist, but not as good as the average of two journalists.

研究の動機と目的

• クラウドワーカーが偏見や経験不足の可能性を抱えながらも、誤ったニュース記事を信頼性を持って特定できるかどうかを評価すること。
• クラウドワーカーに記事を調査するよう誘導することで、判断の正確性が向上し、偏見が低減するかどうかを調査すること。
• 誤情報検出において、クラウドワーカーパネルのパフォーマンスを、個別およびグループジャーナリストの判断と比較すること。
• 効果的な誤情報検出のためのクラウド参加の最適な規模と方法を特定すること。

提案手法

• 政治的立場のバランスを保つために、リベラルおよびコンservativeの多様なクラウドレーティング参加者を編成した。
• 3つの条件を実装した：(1) 調査なし—直接判断のみ；(2) 個別調査—ワーカーが裏付けとなる証拠を検索し、引用した；(3) 共同調査—個別調査条件で得られたリンクを他のワーカーがレビューした。
• 374件のニュース風記事を用いて、各条件での判断をテストした。
• クラウドの判断を、プロのジャーナリストが保有した評価と比較することで正確性を測定した。
• 政治的帰属に基づく判断の一貫性を分析することで、偏見を評価した。
• パネルサイズ（例：3名、16名以上）を変数として、集約の利点を評価した。

実験結果

リサーチクエスチョン

• RQ1 クラウドワーカーに記事の調査を促すことで、その判断における偏見が低減するか？
• RQ2 クラウドワーカーパネルは、誤情報の特定において個別ジャーナリストを上回れるか？
• RQ3 クラウドワーカーパネルのパフォーマンスは、専門ジャーナリストパネルと比べてどうか？
• RQ4 他のワーカーの証拠をレビューする共同調査は、個別調査や調査なしの条件と比べて判断の正確性を向上させるか？
• RQ5 クラウドベースの誤情報検出のための最適なパネルサイズは何か？

主な発見

• 個別調査条件では、調査なし条件と比較して、クラウド判断における偏見が顕著に低減した。
• 16名以上のクラウドワーカーから成るパネルは、3名の専門ジャーナリストパネルよりも、保有されたジャーナリスト評価とより一致する判断を示した。
• 調査なしの場合、クラウド判断は1名のジャーナリストの判断よりも優れていたが、2名のジャーナリストの平均よりは正確ではなかった。
• 共同調査条件は、個別調査条件を上回らなかったため、他の人の証拠をグループでキュレートするのではなく、個別に証拠を収集する方が効果的であると考えられる。
• 十分な規模（16名以上）のクラウドパネルは、専門ジャーナリストを上回る正確性を達成しており、スケーラブルな誤情報検出の強力な可能性を示している。
• 本研究は、情報に基づいたクラウドワーカーが、調査を促されれば、誤情報検出において専門的判断の代替手段として実用的であることを示している。