[論文レビュー] Reinforcement Learning-based Counter-Misinformation Response Generation: A Case Study of COVID-19 Vaccine Misinformation

He Bing, Mustaque Ahamad+1 more|arXiv (Cornell University)|Mar 11, 2023

Misinformation and Its Impacts被引用数 18

ひとこと要約

本論文は MisinfoCorrect を紹介する。これは RL ベースの反誤情報応答生成器で、野外およびクラウドソーシングの2つの新規データセットを用い、COVID-19 ワクチンに関する誤情報に対する丁寧で、証拠に基づき、反駁的な応答を生成し、ベースラインを上回ることを示す。

ABSTRACT

The spread of online misinformation threatens public health, democracy, and the broader society. While professional fact-checkers form the first line of defense by fact-checking popular false claims, they do not engage directly in conversations with misinformation spreaders. On the other hand, non-expert ordinary users act as eyes-on-the-ground who proactively counter misinformation -- recent research has shown that 96% counter-misinformation responses are made by ordinary users. However, research also found that 2/3 times, these responses are rude and lack evidence. This work seeks to create a counter-misinformation response generation model to empower users to effectively correct misinformation. This objective is challenging due to the absence of datasets containing ground-truth of ideal counter-misinformation responses, and the lack of models that can generate responses backed by communication theories. In this work, we create two novel datasets of misinformation and counter-misinformation response pairs from in-the-wild social media and crowdsourcing from college-educated students. We annotate the collected data to distinguish poor from ideal responses that are factual, polite, and refute misinformation. We propose MisinfoCorrect, a reinforcement learning-based framework that learns to generate counter-misinformation responses for an input misinformation post. The model rewards the generator to increase the politeness, factuality, and refutation attitude while retaining text fluency and relevancy. Quantitative and qualitative evaluation shows that our model outperforms several baselines by generating high-quality counter-responses. This work illustrates the promise of generative text models for social good -- here, to help create a safe and reliable information ecosystem. The code and data is accessible on https://github.com/claws-lab/MisinfoCorrect.

研究の動機と目的

• 群衆による誤情報の是正を促進し、効果的で証拠に基づく反応を生み出す。
• ソーシャルメディアとクラウドソーシングからの誤情報投稿と反応の2つの注釈付きデータセットを作成する。
• 流暢さと関連性を確保しつつ、丁寧さ、反駁、証拠に報いる強化学習フレームワークを開発する。

提案手法

• 野外由来の Twitter データセットで 754 の misinfo-counterreply ペア、および 591 のクラウドソースド・カウンター応答データセットを含む 2つのデータセットを構築する。
• counter-responses を以下の特性で注釈付けする: refuting、evidence、politeness を含む。分布を報告する。
• GPT-2 ベースの生成器 MisinfoCorrect を開発し、DialoGPT のウェイトでファインチューニングし、複合報酬を用いた RL で訓練する。
• 状態を誤情報ポスト、行動を生成された counter-response、方針を Transformer ベースの生成器として定義する。
• 丁寧さ、反駁、証拠、流暢さ（逆パープレキシティ）、整合性（ポストとの意味的類似度）に対する報酬を設計する。
• 総報酬 r = α*r_politeness + β*r_refutation + γ*r_evidence + θ*r_fluency + λ*r_coherence; 報酬強化された目的関数 L(θ) = -r*log p(ĉ|m) で訓練する。
• DialoGPT のウェイトで初期化し、ペアデータを用いたウォームスタート戦略を適用する；Adam で最適化する。

Figure 1. An overview of counter-misinformation response generation task.

実験結果

リサーチクエスチョン

• RQ1 RQ1: 提案モデルは望ましい特性を持つ高品質な counter-responses を生成できるか？
• RQ2 RQ2: 野外由来データとクラウドソースデータの使用が生成品質に与える影響はどのようなものか？

主な発見

• 総計で 1,345 件の counter-misinformation 応答という2つの大規模データセットを作成した（754 件がソーシャルメディアのペア、591 件がクラウド生成）。
• MisinfoCorrect は高品質な counter-responses を生成する点で、5つの代表的なベースラインを上回る。
• 丁寧さ、反駁、証拠は、RL 設定内で適切に設計された報酬を介して明示的に最適化されている。
• このアプローチは、COVID-19 ワクチン誤情報に対して証拠に基づき、敬意を払った counter-responses を学習する実現可能性を示している。

Figure 2. The overview of the MisinfoCorrect framework.