[論文レビュー] Harnessing Abstractive Summarization for Fact-Checked Claim Detection

Varad Bhatnagar, Diptesh Kanojia+1 more|arXiv (Cornell University)|Sep 10, 2022

Topic Modeling被引用数 5

ひとこと要約

本論文は、ノイズの多いツイートから要約を生成することで、事実チェック済みの主張をソーシャルメディアで検出するための新しいワークフローを提案する。新たに整備されたインドのツイッター事実チェックデータセット上で大規模言語モデルを微調整することで、文書そのものの照会に比べて検索性能が最大3倍向上し、Recall@5が35%、MRRが0.3に達する。これはベースライン手法を著しく上回る結果である。

ABSTRACT

Social media platforms have become new battlegrounds for anti-social elements, with misinformation being the weapon of choice. Fact-checking organizations try to debunk as many claims as possible while staying true to their journalistic processes but cannot cope with its rapid dissemination. We believe that the solution lies in partial automation of the fact-checking life cycle, saving human time for tasks which require high cognition. We propose a new workflow for efficiently detecting previously fact-checked claims that uses abstractive summarization to generate crisp queries. These queries can then be executed on a general-purpose retrieval system associated with a collection of previously fact-checked claims. We curate an abstractive text summarization dataset comprising noisy claims from Twitter and their gold summaries. It is shown that retrieval performance improves 2x by using popular out-of-the-box summarization models and 3x by fine-tuning them on the accompanying dataset compared to verbatim querying. Our approach achieves Recall@5 and MRR of 35% and 0.3, compared to baseline values of 10% and 0.1, respectively. Our dataset, code, and models are available publicly: https://github.com/varadhbhatnagar/FC-Claim-Det/

研究の動機と目的

• ソーシャルメディアにおける事実チェックのスケーラビリティ課題に対処し、事前に検証済みの主張を自動で検出すること。
• 繰り返しの主張照合作業ではなく、高複雑度のタスクに人的リソースを集中させるために、事実チェックの作業負荷を低減すること。
• インドの文脈におけるノイズの多いリアルタイムのツイートを対象とした、画期的な要約生成データセットの構築。
• ノイズの多いツイートを明確な要約に基づくクエリに変換することで、事実チェック済み主張の検索性能を向上させること。
• 異なるデコード戦略および事前学習モデルがクエリ品質と検索効果性に与える影響を評価すること。

提案手法

• 事前事実チェック済みの主張を検索するために、GoogleのFact Check Explorerをブラックボックス検索エンジンとして使用する。
• ノイズが多く、非公式なツイートを、要約生成モデル（例：T5、BART）を用いて簡潔で情報豊富な要約に変換する。
• インドのソーシャルメディアの主張から得た567件のツイート-要約ペアを含む新規データセットを用いて、これらのモデルを微調整する。
• Recall@5 や MRR といった検索メトリクスを用いて、要約に基づくクエリの有効性を評価する。
• ビームサーチやヌクレアスサンプリングなどの複数のデコード戦略およびモデルサイズを比較し、クエリ品質を最適化する。
• 2018年から2022年までの実際のノイズの多い主張を含むツイッターのデータセットを収集し、事実チェック記事からのゴールドスタンダード要約を付与する。

実験結果

リサーチクエスチョン

• RQ1 要約生成技術は、ノイズが多く、非公式なソーシャルメディアの主張を、簡潔で検索に適したクエリに効果的に変換できるか？
• RQ2 要約に基づくクエリ検索は、文書そのものの照会に比べて、事実チェック済み主張の検索性能においてどのように差をつけるか？
• RQ3 ドメイン特化のデータセット上で事前学習済み要約モデルを微調整することで、検索結果の質がどの程度向上するか？
• RQ4 どのデコード戦略およびモデルアーキテクチャが、事実チェック検索に最も効果的なクエリを生成するか？
• RQ5 本ワークフローは、類似した誤情報課題を抱える他の言語や地域にも一般化可能か？

主な発見

• 微調整済みの要約生成モデルを用いることで、文書そのものの照会に比べて検索性能が最大3倍向上する。
• 事前学習済みの要約生成モデルをそのまま使用しても、ベースラインの文書照会に比べて検索性能が2倍向上する。
• 本アプローチはRecall@5が35%、MRRが0.3を達成し、それぞれベースラインの10%および0.1を著しく上回る。
• 整備済みのインドのツイッターデータセット上で、T5 や BART といった大規模事前学習モデルを微調整することで、クエリ品質および検索効果性に顕著な向上が見られた。
• ビームサーチとヌクレアスサンプリングのデコード戦略には、要約品質および下流の検索性能において明確な差が認められた。
• 本研究で開発したデータセット、コード、微調整済みモデルはCC-BY-NC-SA 4.0ライセンスで公開されており、多言語的・クロスリンガルな文脈でも広く再利用・拡張が可能である。