[論文レビュー] Correcting misinformation on social media with a large language model

Xinyi Zhou, Ashish Sharma+2 more|arXiv (Cornell University)|Mar 17, 2024

Misinformation and Its Impacts被引用数 4

ひとこと要約

この論文では、リアルタイムの検索とマルチモーダル理解を統合した大規模言語モデル（LLM）であるMuseを提案する。Museは最新で信頼性の高い情報源にアクセスし、その信頼性を評価することで、誤情報の是正を正確かつ根拠に基づいた形で行い、専門家評価においてGPT-4を37%、一般の人々を29%上回る。

ABSTRACT

Real-world information, often multimodal, can be misinformed or potentially misleading due to factual errors, outdated claims, missing context, misinterpretation, and more. Such "misinformation" is understudied, challenging to address, and harms many social domains -- particularly on social media, where it can spread rapidly. Manual correction that identifies and explains its (in)accuracies is widely accepted but difficult to scale. While large language models (LLMs) can generate human-like language that could accelerate misinformation correction, they struggle with outdated information, hallucinations, and limited multimodal capabilities. We propose MUSE, an LLM augmented with vision-language modeling and web retrieval over relevant, credible sources to generate responses that determine whether and which part(s) of the given content can be misinformed or potentially misleading, and to explain why with grounded references. We further define a comprehensive set of rubrics to measure response quality, ranging from the accuracy of identifications and factuality of explanations to the relevance and credibility of references. Results show that MUSE consistently produces high-quality outputs across diverse social media content (e.g., modalities, domains, political leanings), including content that has not previously been fact-checked online. Overall, MUSE outperforms GPT-4 by 37% and even high-quality responses from social media users by 29%. Our work provides a general methodological and evaluative framework for correcting misinformation at scale.

研究の動機と目的

• ソーシャルメディア上の誤情報是正におけるスケーラビリティのギャップを解消する。これは、人間による事実確認が、拡散が速いリアルタイムのコンテンツには遅すぎるためである。
• 既存のLLMが誤情報是正において抱える主な制約、すなわち最新の知識の欠如、虚偽の引用、視覚的コンテンツの処理不能を克服する。
• 信頼性があり最新の証拠を検索・評価し、事実に即した根拠に基づいた是正を生成するシステムを開発する。
• 包括的な13次元の評価フレームワークを用いて、専門家および一般の人々による是正と比較して、システムのパフォーマンスを評価する。

提案手法

• Museは、誤情報が出現してから30分以内に外部ソースから最新のウェブコンテンツを取得する、検索拡張生成パイプラインを統合している。
• 信頼性、事実性、最新性に基づいて、収集したソースをフィルタリング・ランク付けする信頼性評価モジュールを適用し、誤りのリスクを低減する。
• 視覚エンコーダーを用いて画像や動画を分析することで、マルチモーダル推論を実行し、視覚的誤情報を検出し是正する。
• 収集した証拠を統合して是正を生成することで、事実の整合性を保ち、検証可能な引用を提供する。
• 微調整されたLLMを用いて、誤情報の主張と文脈に適した自然な、人間が読みやすい説明を生成する。
• 誤情報発表後、さまざまなタイミングで開始するシミュレーテッドデプロイメント環境を用いて、Museのパフォーマンスをテストする。

実験結果

リサーチクエスチョン

• RQ1 Museは、GPT-4や一般の人々の是正よりも著しく正確かつ信頼性の高い是正を生成できるか？
• RQ2 Museのパフォーマンスは、テキスト、視覚的、またはマルチモーダルコンテンツに基づく誤情報の是正においてどのように変化するか？
• RQ3 是正のタイミング（即時 vs. 遅延）が、Museの効果性に与える影響は何か？
• RQ4 ベースラインのLLMと比較して、Museは信頼性があり最新のソースをどれほど効果的に検索・引用できるか？
• RQ5 マルチモーダル理解は、画像や動画に基づく誤情報の是正品質をどの程度向上させるか？

主な発見

• Museは、事実性、明確さ、引用の正確性を含む13の評価次元において、GPT-4を全体の是正品質で37%上回った。
• Museは、一般の人々による高品質な是正を全体のパフォーマンスで29%上回り、専門家レベルの推論に匹敵またはそれを上回る能力を示した。
• 誤情報発表直後に是正を行った場合、Museは一般の人々が発表後13～16時間後に作成した高評価の是正と同等の中央値是正品質スコアを達成した。
• 視覚的およびマルチモーダル検索の統合により、画像に基づく誤情報の是正精度が著しく向上し、標準的なLLMが通常対処できない分野をカバーした。
• 収集したソースの信頼性評価により、ベースラインの検索拡張LLMと比較して、虚偽の引用が50%以上減少した。
• Museのパフォーマンスは、誤情報発表後30分以内に発表されたソースに限定された検索でも、安定的かつ高い水準を維持した。