[論文レビュー] People on Media: Jointly Identifying Credible News and Trustworthy Citizen Journalists in Online Communities

Subhabrata Mukherjee, Gerhard Weikum|MPG.PuRe (Max Planck Society)|May 7, 2017

Misinformation and Its Impacts参考文献 29被引用数 29

ひとこと要約

本稿では、言語の質、ソースの信頼性、ユーザの専門性、トピックの視点の間の相互依存関係をモデル化し、細かく値が与えられたユーザの評価（連続値）を用いて、オンラインニュースコミュニティにおける信頼できるニュース記事、信頼できるニュースソース、および専門的「市民ジャーナリスト」としてのユーザを同時に特定するため、連続的条件付きランダムフィールド（CCRF）モデルを提案する。この手法は、複数の信頼性要因の複雑な同時相互作用を捉えることで、従来の協調フィルタリングや回帰モデルを凌駕する。

ABSTRACT

Media seems to have become more partisan, often providing a biased coverage of news catering to the interest of specific groups. It is therefore essential to identify credible information content that provides an objective narrative of an event. News communities such as digg, reddit, or newstrust offer recommendations, reviews, quality ratings, and further insights on journalistic works. However, there is a complex interaction between different factors in such online communities: fairness and style of reporting, language clarity and objectivity, topical perspectives (like political viewpoint), expertise and bias of community members, and more. This paper presents a model to systematically analyze the different interactions in a news community between users, news, and sources. We develop a probabilistic graphical model that leverages this joint interaction to identify 1) highly credible news articles, 2) trustworthy news sources, and 3) expert users who perform the role of "citizen journalists" in the community. Our method extends CRF models to incorporate real-valued ratings, as some communities have very fine-grained scales that cannot be easily discretized without losing information. To the best of our knowledge, this paper is the first full-fledged analysis of credibility, trust, and expertise in news communities.

研究の動機と目的

• オンラインニュースコミュニティにおけるメディアバイアスや誤情報の増加に伴う課題に、信頼性の系統的分析を通じて対処すること。
• ニュース記事の言語の質、ソースの信頼性、ユーザの専門性、およびユーザ生成評価の間の複雑な相互作用をモデル化すること。
• それぞれの信頼性、信頼性、専門性に基づいて、ニュース記事、ソース、ユーザを同時にランク付けすること。
• Newstrust.netのようなプラットフォームで一般的な、細分化された連続的評価（離散化なし）を損失なく扱うこと。
• 客観的で高品質なニュースコンテンツ評価を提供するユーザを、『市民ジャーナリスト』として信頼できる専門的ユーザとして同定すること。

提案手法

• 本稿では、ユーザからの連続的評価を用いて、信頼性、信頼性、専門性を同時にモデル化する連続的条件付きランダムフィールド（CCRF）モデルを開発する。
• CCRFは従来のCRFモデルを拡張し、連続的評価変数を扱えるようにし、多様な側面からの評価における細かいつまみの情報を保持する。
• モデルは以下の相互作用を捉える：(1) 言語の客観性と記事の信頼性の間、(2) ソースの立場と信頼性の間、(3) ユーザの専門性と評価の一貫性の間。
• 専門性とコミュニティフィードバックに基づくユーザ固有の重みを組み込み、信頼性信号を精緻化する。
• フレームワークは、信頼できるソースが信頼できる記事を生み出し、専門的ユーザがそれらに高い評価を与えるといった、相互依存関係をモデル化し、自己整合的な信頼性信号を生成する。
• モデルは、1記事あたり15の側面評価（例：公平性、事実の正確性）を含む、実世界のニュースコミュニティデータで学習され、実数値の総合スコアに集約される。

実験結果

リサーチクエスチョン

• RQ1 オンラインコミュニティにおけるニュース記事の信頼性に、言語の客観性、ソースの立場、ユーザの専門性がどのように同時に影響を与えるか？
• RQ2 公平性やスタイルなどの複数の側面における連続的評価は、離散的評価と比較して、信頼性予測をどの程度改善するか？
• RQ3 一貫性があり客観的な評価を複数の記事やソースに対して行うユーザは、信頼的に『市民ジャーナリスト』として同定可能か？
• RQ4 ソース、記事、ユーザの間の相互依存関係は、個別の特徴を上回る信頼性信号をどのように強化するか？
• RQ5 CCRFによる同時相互作用のモデル化は、標準的な協調フィルタリングや回帰ベースのアプローチを上回る信用性ランク付け性能を達成するか？

主な発見

• CCRFモデルは、ユーザ・記事・ソース間の同時相互作用をモデル化しない高度な協調フィルタリングや回帰手法を著しく上回る。
• 本モデルは、専門的ユーザが高く評価する一貫した客観的な記事を生み出すことにより、信頼できるニュースソースを効果的に同定する。
• 専門的ユーザは、他の専門的ユーザと一致する一貫性があり客観的な評価を提供する者として信頼的に検出され、『市民ジャーナリスト』としての役割を裏付ける。
• 信頼できるソースと信頼できる記事との間に中程度の有意義な相関が認められ、ユーザの専門性が高くなるにつれて、不一致（MSE）が減少する。
• 離散化を行わない連続的評価の使用は、重要な情報を保持し、評価をビニングする手法よりも信頼性推定をより正確にする。
• 本フレームワークはニュースコミュニティに限らず、信頼性の高い投稿、副作用報告、ユーザの専門性を同時に評価する必要がある健康フォーラムなど、他の分野へも一般化可能である。