[論文レビュー] Related Fact Checks: a tool for combating fake news

Sreya Guha|arXiv (Cornell University)|Oct 31, 2017

Misinformation and Its Impacts参考文献 11被引用数 4

ひとこと要約

本論文では、コンテンツベースのマッチングとテーマ的トピックモデリングを用いて、閲覧中の記事に関連するfact checkを取得するブラウザ拡張機能であるRelated Fact Checks (RFC)サービスを紹介する。このシステムは、評価において高い正確性と再現率を達成しており、二値分類に依存せずに、記事の真偽を評価するための文脈的証拠を提供する。

ABSTRACT

The emergence of "Fake News" and misinformation via online news and social media has spurred an interest in computational tools to combat this phenomenon. In this paper we present a new "Related Fact Checks" service, which can help a reader critically evaluate an article and make a judgment on its veracity by bringing up fact checks that are relevant to the article. We describe the core technical problems that need to be solved in building a "Related Fact Checks" service, and present results from an evaluation of an implementation.

研究の動機と目的

• 記事にfact checkへのリンクが付いていない状態でフェイクニュースが広がる課題に対処するため、記事に関連するfact checkを可視化するツールを構築すること。
• 二値の真偽ラベルに依存せず、関連するfact checkを通じた文脈的証拠を提供することで、ユーザーの記事に対する批判的評価能力を向上させること。
• 従来の情報検索（IR）の限界を克服し、特定の記事に対して直接のfact checkが存在しない場合でも、フェイクニュースでよく見られるテーマ的パターンを組み込むこと。
• 軽量でプライバシーを守るシステムを設計し、オンデバイスでの計算を活用して、ユーザーが潜在的なfact checkを事前に知らせること。
• 今後の研究を促進するため、fact checkと記事のキュレート済みデータセットを公開すること。

提案手法

• RFCサービスは、記事本文とfact checkの主張に基づくコンテンツマッチングと、フェイクニュースに共通する繰り返しテーマを特定するトピックモデリングを組み合わせたハイブリッド検索手法を採用する。
• テーマ的トピックは手動で特定され、特に直接のfact checkマッチがない記事においても関連性を高めるために重みを強く設定される。
• 構造化データ抽出のため、Schema.orgのClaimReviewマークアップを活用してfact-checkingウェブサイトから標準化されたデータを抽出し、インデックス化と検索を可能にする。
• ブラウザ拡張機能によりサービスを実装し、タイトルと主張レビュー済みテキストを用いたオンデバイスでのマッチングを実施することで、プライバシー保護と遅延低減を実現する。
• 正確な文字列マッチを超えるタイトルマッチを向上させるために、Word2Vec埋め込みを含む単語類似度メトリクスを検討する。
• 初期の重みは手動で調整され、コンテンツ、トピック、タイトルの特徴を重み付きで組み合わせて、関連するfact checkをランク付け・検索する。

実験結果

リサーチクエスチョン

• RQ1 コンテンツおよびテーマベースの検索システムは、特定の記事に直接のfact checkが存在しない場合でも、関連するfact checkを効果的に同定できるか？
• RQ2 テーマ的トピックを検索モデルに組み込むことで、コンテンツのみのマッチングと比較して、fact check検索の正確性と再現率がどの程度向上するか？
• RQ3 タイトルと主張レビュー済みテキストを用いた軽量でオンデバイスのマッチングは、正確でプライベートなfact check推薦をどの程度実現できるか？
• RQ4 コンテンツ、トピック、タイトルの異なる特徴の組み合わせは、記事の主張に関連するfact checkの検索において、どのように比較されるか？
• RQ5 既存のfact-checkingマークアップ（ClaimReview）を活用したシステムは、スケーラブルでプライバシーを守るブラウザツールを構築するために効果的に利用できるか？

主な発見

• RFCサービスは優れた検索パフォーマンスを達成しており、コンテンツベースのマッチングとテーマ的トピックモデリングにより、ベースライン手法と比較して正確性と再現率が顕著に向上した。
• 検索モデルにテーマ的トピックを組み込むことで、関連のない結果が減少し、特に予防接種反対や気候変動否定的ナラティブといった繰り返し現れるフェイクニューステーマの記事において、関連性が向上した。
• タイトルベースのマッチングのみでも驚くほど高い性能を示し、特にWord2Vecのような単語類似度メトリクスを組み合わせることで、多くのfact checkタイトルが簡潔かつ代表的であるため、その効果が顕著に現れた。
• 本システムは、特定の記事に直接のfact checkが存在しない場合でも、同じテーマの関連するfact checkが、批判的評価のための貴重な文脈的証拠を提供できることを示した。
• タイトルと主張データをバンドルしてオンデバイスで処理する軽量な実装により、リモートサーバーへのリクエストなしに、プライベートで低遅延のfact check検索が可能になった。
• 著者らは、今後のフェイクニュース検出およびfact-checking検索分野の研究を支援するため、fact checkと記事のキュレート済みデータセットを公開する予定である。