[論文レビュー] I Want to Believe: Journalists and Crowdsourced Accuracy Assessments in Twitter.

Cody Buntain, Jennifer Golbeck|arXiv (Cornell University)|May 3, 2017

Misinformation and Its Impacts被引用数 5

ひとこと要約

本稿は、ジャーナリストとクラウドソーシングによるTwitterニュースの信頼性評価を比較し、両者が統計的に相関する結果を生じるものの、使用する特徴量が異なることを示している。ジャーナリストは事実の正確性に注目するのに対し、クラウドソーシング作業者は受動的信頼性（perceived accuracy）に注目する。事実の正確性に基づくモデルは、クラウドソーシングデータに基づくモデルに比べ、拡散が著しいフェイクニュースの検出において劣る。

ABSTRACT

Evaluating information accuracy in social media is an increasingly important and well-studied area, but limited research has compared journalist-sourced accuracy assessments to their crowdsourced counterparts. This paper demonstrates the differences between these two populations by comparing the features used to predict accuracy assessments in two Twitter data sets: CREDBANK and PHEME. While our findings are consistent with existing results on feature importance, we develop models that outperform past research. We also show limited overlap exists between the features used by journalists and crowdsourced assessors, and the resulting models poorly predict each other but produce statistically correlated results. This correlation suggests crowdsourced workers are assessing a different aspect of these stories than their journalist counterparts, but these two aspects are linked in a significant way. These differences may be explained by contrasting factual with perceived accuracy as assessed by expert journalists and non-experts respectively. Following this outcome, we also show preliminary results that models trained from crowdsourced workers outperform journalist-trained models in identifying highly shared fake news stories.

研究の動機と目的

• Twitterにおけるニュースの信頼性評価について、ジャーナリストによる評価とクラウドソーシングによる評価の違いを調査すること。
• ジャーナリストとクラウドソーシング評価者が信頼性を判断するために使用する特徴量が重複するか、あるいは乖離しているかを検討すること。
• それぞれの評価方法に基づいて訓練されたモデルの予測性能を評価し、フェイクニュースを特定する能力を検証すること。
• 受動的信頼性（クラウドソーシング）と事実の正確性（ジャーナリスト）が、別個の次元ではあるが相関するニュース評価の次元として捉えられるかを検討すること。

提案手法

• CREDBANKおよびPHEMEの2つのTwitterデータセットを収集・分析し、それぞれのニュースストーリーに信頼性評価が付与されている。
• ツイートからテキスト的・言語的・ネットワーク的特徴量を抽出し、信頼性評価の予測モデルを訓練する。
• ジャーナリストによる評価とクラウドソーシングによる評価をラベルとして、それぞれ別個の機械学習モデルを訓練する。
• 両方の訓練法において、拡散が著しいフェイクニュースの検出性能を比較する。
• 特徴量の重要度分析を実施し、各モデルが予測にどの特徴量に依存しているかを比較する。
• ジャーナリスト訓練モデルとクラウドソーシング訓練モデルの予測結果の相関を評価し、評価基準の整合性を検証する。

実験結果

リサーチクエスチョン

• RQ1 ジャーナリストとクラウドソーシング評価者がニュースの信頼性を判断するために使用する特徴量は、どのように異なるか？
• RQ2 ジャーナリスト評価に基づいて訓練されたモデルがクラウドソーシング評価の結果をどれほど正確に予測できるか、逆に逆の場合も同様に検討する。
• RQ3 ジャーナリスト訓練モデルとクラウドソーシング訓練モデルの予測結果は統計的に相関しているか？ その相関は、評価基準の整合性に何を示唆するか？
• RQ4 クラウドソーシング評価に基づいて訓練されたモデルは、ジャーナリスト評価に基づいたモデルよりも、拡散が著しいフェイクニュースの検出において優れているか？
• RQ5 非専門家が判断する受動的信頼性と、専門家が判断する事実の正確性は、別個の次元として捉えられるが、それらは関連しているとみなせるか？

主な発見

• ジャーナリストによる評価とクラウドソーシングによる評価は、ほとんど重複しない特徴量に依存しており、評価基準が異なることを示している。
• ジャーナリスト評価に基づいたモデルはクラウドソーシング評価の結果をうまく予測できず、逆も同様であるが、予測結果同士は統計的に相関している。
• モデルの予測結果の相関から、評価プロセスは異なるものの、両者ともニュースストーリーの関連する側面を評価していることが示唆される。
• クラウドソーシング評価に基づいて訓練されたモデルは、ジャーナリスト評価に基づいたモデルよりも、拡散が著しいフェイクニュースを識別する能力に優れている。これは、拡散を促進する誤情報の検出に、クラウドソーシングのアプローチが有効である可能性を示している。
• 特徴量の使用の違いは、ジャーナリストが事実の正確性を評価しているのに対し、クラウドソーシング作業者は受動的信頼性やヒューリスティックに基づく信頼性を評価していると解釈する根拠となる。
• 結果から、クラウドソーシングで捉えられる受動的信頼性は、拡散が著しいフェイクニュースの検出において、事実の正確性よりも効果的な信号である可能性があると示唆される。