[論文レビュー] MediaRank: Computational Ranking of Online News Sources

Junting Ye, Steven Skiena|arXiv (Cornell University)|Mar 18, 2019

Misinformation and Its Impacts参考文献 29被引用数 8

ひとこと要約

MediaRankは、4つの計算指標（同業者評価、報道バイアスおよび網羅性、財務的圧力、人気）を用いて、50,000件を超えるグローバルなオンラインニュースソースを完全に自動的かつ解釈可能な方法でランク付けするシステムを提案する。既存の専門家ランクと強い相関を示す（35件中34件でスピアマンのρ = 0.57、p < 0.05）一方で、ソーシャルボットの検出や攻撃的な広告配置の特定という、新しい手法を導入している。

ABSTRACT

In the recent political climate, the topic of news quality has drawn attention both from the public and the academic communities. The growing distrust of traditional news media makes it harder to find a common base of accepted truth. In this work, we design and build MediaRank (www.media-rank.com), a fully automated system to rank over 50,000 online news sources around the world. MediaRank collects and analyzes one million news webpages and two million related tweets everyday. We base our algorithmic analysis on four properties journalists have established to be associated with reporting quality: peer reputation, reporting bias / breadth, bottomline financial pressure, and popularity. Our major contributions of this paper include: (i) Open, interpretable quality rankings for over 50,000 of the world's major news sources. Our rankings are validated against 35 published news rankings, including French, German, Russian, and Spanish language sources. MediaRank scores correlate positively with 34 of 35 of these expert rankings. (ii) New computational methods for measuring influence and bottomline pressure. To the best of our knowledge, we are the first to study the large-scale news reporting citation graph in-depth. We also propose new ways to measure the aggressiveness of advertisements and identify social bots, establishing a connection between both types of bad behavior. (iii) Analyzing the effect of media source bias and significance. We prove that news sources cite others despite different political views in accord with quality measures. However, in four English-speaking countries (US, UK, Canada, and Australia), the highest ranking sources all disproportionately favor left-wing parties, even when the majority of news sources exhibited conservative slants.

研究の動機と目的

• グローバル規模のオンラインニュースソースを自動的かつスケーラブルにランク付けするシステムを開発すること。
• 計算信号を用いてニュースメディアの主要な品質指標を同定および測定すること。
• 複数の言語および地域にまたがる35の専門家がキュレートしたニュースランクに対して、システムを検証すること。
• 財務的圧力や誤情報行動（ボット駆動のトラフィックや攻撃的な広告）を自動検出および定量化すること。
• ニュースソースランクにおける政治的バイアスを分析し、品質認識に与える影響を評価すること。

提案手法

• ニュース記事からレポート引用グラフを構築し、ページランクスコアを計算することで、同業者評価を測定する。
• 大規模なニュースコーパス上で左翼的・右翼的政治的人物に対する感情の差を用いて、政治的バイアスを定量化する。
• ユニークな有名人の言及数を数えることで、報道網羅性（トピックの多様性）を測定する。
• ネットワーク行動解析を用いてソーシャルボットを検出し、配置および密度の指標を用いて広告の攻撃性を定量化する。
• 信号を統合して合成メディアランクスコアを生成し、[0,1]に正規化する。個々の信号の百分位数を用いて解釈可能性を確保する。
• スピアマン相関と統計的有意性検定を用いて、35の専門家ランクとの整合性を検証する。

実験結果

リサーチクエスチョン

• RQ1 計算信号は、多様な言語および地域において、専門家が検証したニュースソースの品質をどれほどうまく予測できるか？
• RQ2 同業者評価、バイアス、財務的圧力、人気の各要因が、メディア品質を独立してどれほど予測できるか？
• RQ3 ソーシャルボットや攻撃的な広告配置の自動検出は、メディアの整合性の信頼できる代理指標として機能するか？
• RQ4 英語圏の国々で上位にランクされたニュースソースが、全体的に右寄りの傾向にあるメディア環境にもかかわらず、左翼的視点を顕著に優遇しているのはなぜか？
• RQ5 信号の組み合わせ（例：高い評価だが広告実施が悪質）が最終的なランクにどのように影響するか？

主な発見

• MediaRankスコアは、35件の専門家ランクのうち34件と正の相関を示し、平均スピアマン相関係数は0.57（24件でp < 0.05）であった。
• 統計的に有意な24件の専門家ランクにおいて、システムは平均ランク品質スコア0.63を達成しており、人間の専門家評価と強い整合性を示している。
• 高い同業者評価と広範なトピックカバレッジを持つニュースソースは、中程度の政治的バイアスがあっても一貫して高いランクに位置づけられる。
• デイリー・メールは評価と網羅性で高いスコアを獲得しているが、攻撃的な広告配置のためランクが引き下げられ、財務的圧力信号への感受性が裏付けられた。
• 米国、イギリス、カナダ、オーストラリアの上位ニュースソースは、左翼政党を一貫して優遇しており、全体的に右寄りのメディア傾向にあるにもかかわらず、高品質ソース選定に体系的なバイアスが存在する可能性を示唆している。
• システムはソーシャルボットを効果的に同定でき、その存在と攻撃的な広告の関連性を示した。これにより、一貫性のない行動と収益圧力の間の新たな関連性が確立された。