[論文レビュー] Taking a Stance on Fake News: Towards Automatic Disinformation Assessment via Deep Bidirectional Transformer Language Models for Stance Detection

Chris Dulhanty, Jason Deglint+2 more|arXiv (Cornell University)|Nov 27, 2019

Misinformation and Its Impacts参考文献 35被引用数 23

ひとこと要約

この論文は、深層双方向トランスフォーマー言語モデルであるRoBERTaを用いた転移学習を活用して、フェイクニュース評価のための最先端のステークス検出モデルを提案する。主張と記事の間の双方向クロスアテンションを活用することで、FNC-Iベンチマークで90.01%の重み付き正確度を達成し、先行手法を上回り、大規模言語モデルが自動偽情報検出に有効である可能性を示している。

ABSTRACT

The exponential rise of social media and digital news in the past decade has had the unfortunate consequence of escalating what the United Nations has called a global topic of concern: the growing prevalence of disinformation. Given the complexity and time-consuming nature of combating disinformation through human assessment, one is motivated to explore harnessing AI solutions to automatically assess news articles for the presence of disinformation. A valuable first step towards automatic identification of disinformation is stance detection, where given a claim and a news article, the aim is to predict if the article agrees, disagrees, takes no position, or is unrelated to the claim. Existing approaches in literature have largely relied on hand-engineered features or shallow learned representations (e.g., word embeddings) to encode the claim-article pairs, which can limit the level of representational expressiveness needed to tackle the high complexity of disinformation identification. In this work, we explore the notion of harnessing large-scale deep bidirectional transformer language models for encoding claim-article pairs in an effort to construct state-of-the-art stance detection geared for identifying disinformation. Taking advantage of bidirectional cross-attention between claim-article pairs via pair encoding with self-attention, we construct a large-scale language model for stance detection by performing transfer learning on a RoBERTa deep bidirectional transformer language model, and were able to achieve state-of-the-art performance (weighted accuracy of 90.01%) on the Fake News Challenge Stage 1 (FNC-I) benchmark. These promising results serve as motivation for harnessing such large-scale language models as powerful building blocks for creating effective AI solutions to combat disinformation.

研究の動機と目的

• ソーシャルメディアやデジタルニュースを通じたフェイクニュースの拡散が引き起こす増大する社会的脅威に対処すること。
• スケーラブルな自動事実確認システムの基盤となる自動ステークス検出を改善すること。
• 手作業で特徴を抽出する手法や浅い単語埋め込みに依存する従来手法の限界を克服すること。
• 大規模な深層双方向トランスフォーマーモデルが、フェイクニュース検出におけるステークス検出にどの程度有効であるかを検証すること。
• FNC-Iデータセットにおいて、新たな最先端のベンチマーク性能を確立すること。

提案手法

• 主張-記事ペアを対象に、RoBERTaベースの深層双方向トランスフォーマー言語モデルを微調整してステークス検出を実行する。
• 自己アテンションと双方向クロスアテンションを用いたペアエンコーディングにより、主張と記事間の文脈的関係をモデル化する。
• 大規模な未ラベル付きテキストでの事前学習を経て、FNC-Iデータセットで転移学習を実施する。
• 分類ヘッドを用いて、4つのステークスクラス（賛成、反対、ステークスなし、関連なし）のいずれかを予測する。
• 交差エントロピー損失とAdam最適化を用いた標準的なNLP学習手順でモデルを最適化する。
• RoBERTaが学習した階層的で文脈的な表現を活用し、フェイクニュース文脈における微細な言語的パターンを捉える。

実験結果

リサーチクエスチョン

• RQ1 RoBERTaのような大規模な深層双方向トランスフォーマーモデルは、従来の特徴ベースや浅い埋め込み手法に比べ、フェイクニュースのステークス検出で優れた性能を示せるか？
• RQ2 主張と記事間の双方向クロスアテンションは、ステークス分類性能をどの程度向上させるか？
• RQ3 RoBERTaを用いた転移学習により、FNC-Iベンチマークでのステークス検出でどの程度の正確度が達成可能か？
• RQ4 本手法は、フェイクニュースチャレンジの前後で発表された最先端モデルと比較して、どのように差をつけるか？
• RQ5 このようなモデルを実世界の事実確認システムに導入する際の倫理的リスクと限界は何か？

主な発見

• 提案されたRoBERTaベースのモデルは、FNC-Iベンチマークで90.01%の重み付き正確度を達成し、新たな最先端の結果を樹立した。
• 標準正確度は93.71%を記録し、Zhangら（2019）の88.15%という重み付き正確度を著しく上回った。
• 2017年のフェイクニュースチャレンジ終了以降、誤差率が8%削減されたことから、性能向上が顕著に表れている。
• 大規模事前学習による深層文脈表現が、フェイクニュース文脈におけるステークス検出に有効であることが実証された。
• 本手法は、元のフェイクニュースチャレンジで上位3位のモデルおよびその後に登場したすべての主要なアプローチを、FNC-Iテストセットで上回った。
• 結果から、双方向クロスアテンションとRoBERTaを用いた転移学習が、自動ステークス検出の強力なフレームワークであることが裏付けられた。