[論文レビュー] You are right. I am ALARMED -- But by Climate Change Counter Movement

Shraey Bhatia, Jey Han Lau+1 more|arXiv (Cornell University)|Apr 30, 2020

Climate Change Communication and Perception参考文献 24被引用数 7

ひとこと要約

本論文は、気候変動反動運動（CCCM）機関から抽出した気候変動フェイクニュース記事を含む大規模でドメイン特化型のデータセットを紹介するとともに、信頼できる報道機関、風刺サイト、科学的根拠に基づく出先からのバランスの取れたテストセットを提供する。本研究では、スタイル的および言語的兆候を用いた気候変動フェイクニュース検出のための新しいNLPベンチマークを提案し、気候変動議論におけるフェイクニュース対策のための自動検出システムの開発を可能にする。

ABSTRACT

The world is facing the challenge of climate crisis. Despite the consensus in scientific community about anthropogenic global warming, the web is flooded with articles spreading climate misinformation. These articles are carefully constructed by climate change counter movement (cccm) organizations to influence the narrative around climate change. We revisit the literature on climate misinformation in social sciences and repackage it to introduce in the community of NLP. Despite considerable work in detection of fake news, there is no misinformation dataset available that is specific to the domain.of climate change. We try to bridge this gap by scraping and releasing articles with known climate change misinformation.

研究の動機と目的

• NLP分野における気候変動フェイクニュース検出のドメイン特化型データセットの不足に対処すること。
• 気候変動反動運動（CCCM）機関がフェイクニュースを広めるために用いる言語的およびスタイル的戦略を同定すること。
• 自動検出研究を支援するため、大規模でアノテート済みのフェイクニュース記事データセットを公開すること。
• 信頼できるニュース、風刺、科学的根拠に基づくコンテンツを含むバランスの取れたテストセットを構築し、モデル評価の堅牢性を高めること。
• 気候変動フェイクニュースに関する社会学的研究と、NLPを用いたフェイクニュース検出の応用の間のギャップを埋めること。

提案手法

• 15の既知のCCCM機関から記事をスクレイピングし、科学的枠組みと政策的枠組みに分類することで、組織間でのバランスの取れた表現を確保した。
• 訓練用とテスト用に組織単位でデータセットを分割し、未学習の出先に対する汎化性能を評価した（訓練：12組織、テスト：3組織）。
• 多様な出先からテストデータを収集した：ガーディアン（信頼できる気候変動報道）、BBC（信頼できる気候変動報道）、ニュースルーム（気候変動以外の記事）、ビートータ・アドボケート（風刺コンテンツ）、そしてシプティカル・サイエンス（事実に基づく反論）。
• 組織間で科学的・政策的枠組みのバランスを確保するために、手動によるフレームアノテーションを実施した。
• 1,168件の訓練文書と、5つの異なる出先タイプをカバーする460件のテスト文書を含むベンチマークデータセットを構築した。
• 事前にフェイクニュース研究で知られているスタイル的・言語的特徴（例：誇張、主観性、モーダル副詞、センセーショナリズム）を活用し、検出モデルの構築を支援した。

実験結果

リサーチクエスチョン

• RQ1 CCCM機関は、フェイクニュース、プロパガンダ、センセーショナリズムの言語をどのように組み合わせて気候科学を揺るがすナラティブを構築しているか？
• RQ2 NLPモデルは、以前に見られなかったCCCM機関のフェイクニュースをどの程度一般化して検出できるか？
• RQ3 言語的スタイルに基づいて、フェイクニュース、信頼できるジャーナリズム、風刺、科学的根拠に基づく反論を検出モデルが区別できるか？
• RQ4 ニュース記事において、気候変動フェイクニュースの予測に最も有効なスタイル的・言語的マーカーは何か？
• RQ5 既存のNLP技術は、ドメイン特化型のコンテンツに適用された場合、気候変動フェイクニュースの検出にどの程度有効か？

主な発見

• 著者らは、15のCCCM機関から得た1,168件の気候変動フェイクニュース記事を含む大規模でアノテート済みのデータセットを公開した。科学的・政策的ナラティブフレームの両方にバランスが取れていた。
• テストセットには、ガーディアンから80件、BBCから60件、ビートータ・アドボケート（風刺）から70件、ニュースルーム（気候変動以外）から100件、シプティカル・サイエンス（事実に基づく）から50件の合計460件のドキュメントが含まれる。
• 訓練用とテスト用のデータセットが組織単位で分割されているため、新しいCCCM機関からのフェイクニュース検出の汎化性能を評価できる。
• 本研究では、CCCMコンテンツに誇張、主観性、センセーショナリズムといったスタイル的特徴が顕著に見られ、政治的フェイクニュース研究の結果と整合していることが示された。
• 本データセットの公開により、気候変動フェイクニュース検出のための最初の専用ベンチマークが提供され、NLP研究における重要なギャップが埋められた。
• 本データセットは、メディアやオンラインプラットフォームにおける気候変動フェイクニュースの拡散を抑えるための自動検出システムの開発を支援する。