[論文レビュー] Can Large Language Models Detect Rumors on Social Media?

Qiang Liu, Tao Xiang+3 more|arXiv (Cornell University)|Feb 6, 2024

Misinformation and Its Impacts被引用数 4

ひとこと要約

本稿では、自然言語の内容とソーシャルメディア上のユーザーのコメントの両方を、伝播の情報をChain-of-Propagationに構造化し、特定のプロンプトを用いてLLMが書きぶりの特徴、常識的な矛盾、コメントの矛盾といった重要な手がかりに集中できるように誘導することによって、ゼロショットのリマインド検出フレームワークLeRuDを提案する。LeRuDは、トレーニングデータを一切必要とせず、TwitterおよびWeiboのデータセットにおいて、最先端のモデルよりも3.2%から7.7%高い性能を達成する。

ABSTRACT

In this work, we investigate to use Large Language Models (LLMs) for rumor detection on social media. However, it is challenging for LLMs to reason over the entire propagation information on social media, which contains news contents and numerous comments, due to LLMs may not concentrate on key clues in the complex propagation information, and have trouble in reasoning when facing massive and redundant information. Accordingly, we propose an LLM-empowered Rumor Detection (LeRuD) approach, in which we design prompts to teach LLMs to reason over important clues in news and comments, and divide the entire propagation information into a Chain-of-Propagation for reducing LLMs' burden. We conduct extensive experiments on the Twitter and Weibo datasets, and LeRuD outperforms several state-of-the-art rumor detection models by 3.2% to 7.7%. Meanwhile, by applying LLMs, LeRuD requires no data for training, and thus shows more promising rumor detection ability in few-shot or zero-shot scenarios.

研究の動機と目的

• 大規模言語モデル（LLMs）が、ニュース本文とコメントを含む完全な伝播情報を用いて、ソーシャルメディア上のリマインドを効果的に検出できるかどうかを調査すること。
• 伝播データにおける長く冗長なコメントの連続に対して、LLMsが重要な手がかりに集中できず、困難を抱えるという課題に対処すること。
• 時間順序に整列された伝播パターンを段階的に推論できる、プロンプトベースの推論フレームワークを設計すること。
• LLMsのゼロショット能力を評価し、ファインチューニングやラベル付きトレーニングデータへの依存を最小限に抑えること。
• 適切に誘導されたLLMsが、ファインチューニングなしでも従来のモデルを上回ることを示すこと。

提案手法

• 本手法は、ニュースの伝播をChain-of-Propagationに構造化し、コメントを時系列順に整理することで、文脈長を短縮し、推論効率を向上させる。
• 独自のプロンプトを設計し、LLMsがニュース本文の書きぶりや常識的な矛盾（例えば、説得力のない主張や誇張された表現）を分析できるように誘導する。
• コメントにおける反論、矛盾、対立する意見を検出するために別々のプロンプトを用い、複数の視点からの推論を可能にする。
• フレームワークは、ファインチューニングを回避するゼロショット設定でGPT-3.5を活用し、低リソース環境下でも一般化性を確保する。
• データ漏洩やバイアスを防ぐために、既知の事実や感受性の高いコンテンツを含むサンプルを除外するための倫理的フィルタリングを適用する。
• 最終的な判断は、段階的分析から集約され、ニュースの信ぴょう性評価とコメントの感情・矛盾検出からの証拠を統合する。

Figure 1: Can LLMs detect rumors on social media?

実験結果

リサーチクエスチョン

• RQ1 ニュースとコメントを含む完全な伝播情報を提示された場合、LLMsはソーシャルメディア上のリマインドを効果的に検出できるか？
• RQ2 ファインチューニングされたモデルと比較して、LLMsはゼロショットまたはフェイシュット設定でどの程度の性能を示すか？
• RQ3 プロンプト工学と構造化された推論（Chain-of-Propagation）は、ノイズが多く長大なコメントスレッドにおいて、LLMsの重要な手がかりへの集中能力を向上させることができるか？
• RQ4 書きぶりの特徴、常識的な誤り、コメントの矛盾といった、どのような種類の手がかりがLLMベースのリマインド検出において最も効果的か？
• RQ5 伝播データを時系列順に整えたチェーンに構造化することで、LLMsの推論能力と検出精度が向上するか？

主な発見

• LeRuDは、TwitterおよびWeiboのデータセットにおいて、ゼロショット評価で複数の最先端のリマインド検出モデルを3.2%から7.7%上回る性能を達成する。
• ファインチューニングを一切行わず、低リソースまたはゼロショットの状況下でも優れた一般化性能を示す。
• プロンプト工学により、LLMsが書きぶりの異常やコメントの矛盾といった重要な指標に効果的に集中できるよう誘導され、検出精度が向上する。
• Chain-of-Propagation構造により、1ステップあたりの文脈長が制限され、長大なコメントスレッドに対してもより正確で安定した推論が可能になる。
• 反論の欠如や論理的な矛盾の検出により、感情的であったり曖昧な出来事であっても、実際のニュースを正しく特定できる。
• 入力長の制限がある中でも、LeRuDは冗長または関係のないコメントをフィルタリングし、顕著な証拠に集中することで、高い性能を維持する。

(a) Results on Twitter.