[論文レビュー] A Survey on Predicting the Factuality and the Bias of News Media

Preslav Nakov, Hüsrev Taha Sencar+2 more|arXiv (Cornell University)|Mar 16, 2021

Misinformation and Its Impacts参考文献 76被引用数 13

ひとこと要約

本調査は、ニュース記事本文以外のマルチソース・マルチモーダルデータを活用することで、メディアの事実性と政治的バイアスを統合的にモデリングするフレームワークを提案する。ソースレベルのプロファイリングにおける最先端手法をレビューし、データ不足や動的レーティングといった課題を強調し、非英語メディア、ニュース動画、メディアリテラシーへの実用的導入といった未解決の方向性を提示する。

ABSTRACT

The present level of proliferation of fake, biased, and propagandistic content online has made it impossible to fact-check every single suspicious claim or article, either manually or automatically. Thus, many researchers are shifting their attention to higher granularity, aiming to profile entire news outlets, which makes it possible to detect likely "fake news" the moment it is published, by simply checking the reliability of its source. Source factuality is also an important element of systems for automatic fact-checking and "fake news" detection, as they need to assess the reliability of the evidence they retrieve online. Political bias detection, which in the Western political landscape is about predicting left-center-right bias, is an equally important topic, which has experienced a similar shift towards profiling entire news outlets. Moreover, there is a clear connection between the two, as highly biased media are less likely to be factual; yet, the two problems have been addressed separately. In this survey, we review the state of the art on media profiling for factuality and bias, arguing for the need to model them jointly. We further discuss interesting recent advances in using different information sources and modalities, which go beyond the text of the articles the target news outlet has published. Finally, we discuss current challenges and outline future research directions.

研究の動機と目的

• 事実性と政治的バイアスの両方を統合的にプロファイリングする最近の進展をレビュー・統合すること。
• 両者の強い相関関係を踏まえ、事実性とバイアスの共同モデリングを主張すること。
• データの可用性、アノテーションのばらつき、モデルの頑健性といった主な課題を特定・分析すること。
• 記事本文以外の多様な情報源（SNS、Wikipedia、メタデータなど）の利用を検討すること。
• 非英語メディア、ニュース動画、エンドユーザー向け実用ツールといった今後の研究方向性を提示すること。

提案手法

• Media Bias/Fact Check や AllSides などのソースから得られるゴールドスタンダードラベルを用いて、既存のメディアプロファイリング研究を統合的に分析する。
• テキストコンテンツ、SNS活動、URL構造、メタデータを統合して、ソースの信頼性を推定する手法を評価する。
• 順序尺度上で事実性とバイアスを同時に予測するマルチタスク順序回帰モデルの分析。
• Wikipediaの言及、Twitterプロフィール、トラフィックデータといった間接的シグナルを用いてメディアの信頼性を推定するアプローチを検討する。
• 低リソース言語環境における多言語事前学習モデルとトランスファーラーニングの活用を評価する。
• トランスクリプトと視覚モダリティの統合を含む、ニュースクリップのエンドツーエンド動画分析技術を検討する。

実験結果

リサーチクエスチョン

• RQ1 信頼性の低いニュースソースの検出を向上させるために、メディアの事実性と政治的バイアスをどのように統合的にモデリングできるか？
• RQ2 記事本文以外の非テキスト的・非記事的データソース（例：SNS、メタデータ）は、記事内容を超えてメディアプロファイリングをどのように向上させられるか？
• RQ3 メディアレーティングの動的変化が、トレーニングデータの信頼性とモデルの一般化性能にどのように影響するか？
• RQ4 非英語および非西洋的政治的文脈へのメディアプロファイリングのスケーリングにおける主な課題は何か？
• RQ5 ニュース動画コンテンツをエンドツーエンドでどのように分析し、バイアスや事実性の問題を検出できるか？

主な発見

• メディアの事実性とバイアスに関する既存のデータセットは小さく、通常は数百分から数万件のニュースメディアを含むにとどまる。
• 人間によるアノテーションによる事実性・バイアスレーティングは本質的に動的であり、時間経過とともに変化するため、モデル評価に影響を与える。
• 順序尺度上で事実性とバイアスを同時に予測するマルチタスク順序回帰による共同モデリングは、単一タスクアプローチに比べて性能が向上する。
• 現在の研究は主に英語メディアに限定されており、非英語言語や多党政治制度を扱う研究はほとんどない。
• ニュース動画の分析はまだ十分に検討されておらず、多くの研究がトランスクリプトに依存しているが、エンドツーエンドの動画処理は未開拓である。
• Media Bias/Fact Check や AllSides のような実用ツールは既に存在するが、グローバルな影響を発揮するには、より広範な言語・メディアカバレッジが必要である。