[論文レビュー] Weakly Supervised Veracity Classification with LLM-Predicted Credibility Signals

João Leite, Olesya Razuvayevskaya+2 more|arXiv (Cornell University)|Sep 14, 2023

Misinformation and Its Impacts被引用数 11

ひとこと要約

tldr: 本論文は、 Instruction-tuned LLMs に18個の信頼性信号を生成させ、弱監視と組み合わせて真偽を予測することで ground-truth ラベルなしでも長文記事の信憑性を評価し、ゼロショットおよびいくつかの教師ありベースラインを2つのデータセットで上回る。

ABSTRACT

Credibility signals represent a wide range of heuristics typically used by journalists and fact-checkers to assess the veracity of online content. Automating the extraction of credibility signals presents significant challenges due to the necessity of training high-accuracy, signal-specific extractors, coupled with the lack of sufficiently large annotated datasets. This paper introduces Pastel (Prompted weAk Supervision wiTh crEdibility signaLs), a weakly supervised approach that leverages large language models (LLMs) to extract credibility signals from web content, and subsequently combines them to predict the veracity of content without relying on human supervision. We validate our approach using four article-level misinformation detection datasets, demonstrating that Pastel outperforms zero-shot veracity detection by 38.3% and achieves 86.7% of the performance of the state-of-the-art system trained with human supervision. Moreover, in cross-domain settings where training and testing datasets originate from different domains, Pastel significantly outperforms the state-of-the-art supervised model by 63%. We further study the association between credibility signals and veracity, and perform an ablation study showing the impact of each signal on model performance. Our findings reveal that 12 out of the 19 proposed signals exhibit strong associations with veracity across all datasets, while some signals show domain-specific strengths.

研究の動機と目的

• 自動的な誤情報検出を、テキスト内容だけを超えた信頼度信号で促進する。
• 指示調整済みLLMを用いたゼロショット prompting がファインチューニング済み分類器に匹敵するかを調査する。
• 信頼性信号に基づく prompting 弱監視（PWS）が真偽予測に有効か評価する。
• 誤情報検出に最も寄与する信頼性信号を特定する。
• 二つの長文記事の誤情報データセットでの頑健性を示す。

提案手法

• L L Mへ18個の信頼性信号を提示して各信号の弱ラベルを取得する。
• 二段階 prompting アプローチを使用: オープンエンドプロンプトの後にクラスラベルへマッピングするプロンプト。
• LLM出力を信号ラベルへ単純な文字列照合でマッピングし、フォールバックとしてマッピングプロンプトを使用。
• 18の弱信号をSnorkelのラベルモデルで集約し、GTデータなしで信号精度を推定する。
• 2つのPWSモードを比較: (L) ラベルモデルのみ; (FULL) ラベルモデル＋弱ラベルで訓練されたRoBERTa-Base分類器。
• 3つの指示調整済みLLM（GPT-3.5-Turbo、Alpaca-LoRA-30B、OpenAssistant-30B）と2つのデータセットを評価。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 指示調整済みLLMs を用いたゼロショット prompting は GT データを用いたファインチューニングと同等か。
• RQ2 RQ2: 信頼性信号を用いた prompting 弱監視はゼロショット prompting を上回るか。
• RQ3 RQ3: 信頼性信号のうちどれが信憑性予測に最も寄与するか。

主な発見

Setting	FA-KES Accuracy	FA-KES F1-Macro	EUvsDisinfo Accuracy	EUvsDisinfo F1-Macro
Supervised ✓ RoBERTa-Base	52.9 ± 1.9	52.9 ± 1.9	77.0 ± 4.0	61.4 ± 9.0
Zero-Shot × GPT-3.5-Turbo	46.2 ± 2.5	43.3 ± 2.0	87.7 ± 5.1	83.8 ± 5.7
Zero-Shot × Alpaca-LoRA-30B	52.7 ± 0.7	34.9 ± 0.9	24.0 ± 3.5	21.1 ± 5.3
Zero-Shot × OpenAssistant-30B	52.3 ± 4.3	50.4 ± 5.5	58.7 ± 4.7	56.1 ± 3.8
Weakly Supervised × GPT-3.5-Turbo- L	47.9 ± 4.8	47.4 ± 4.3	77.0 ± 3.5	73.5 ± 4.5
Weakly Supervised × Alpaca-LoRA-30B- L	53.8 ± 1.9	53.2 ± 2.6	54.0 ± 7.0	50.4 ± 8.0
Weakly Supervised × OpenAssistant-30B- L	49.2 ± 5.5	49.1 ± 5.4	69.0 ± 9.5	63.5 ± 11.4
Weakly Supervised × GPT-3.5-Turbo- FULL	49.8 ± 3.6	49.3 ± 3.0	99.3 ± 0.6	99.0 ± 0.9
Weakly Supervised × Alpaca-LoRA-30B- FULL	53.0 ± 4.5	51.2 ± 2.9	67.0 ± 10.0	64.4 ± 12.7
Weakly Supervised × OpenAssistant-30B- FULL	55.3 ± 3.5	54.8 ± 3.6	91.3 ± 2.5	85.8 ± 5.2

• 信頼性信号を用いた prompting 弱監視は、データセットとモデルを問わず一貫してゼロショット prompting を上回る。
• FULL（弱信号＋分類器）はしばしば最高性能を出し、例として OpenAssistant-30B-FULL が最高の FA-KES スコアを、 GPT-3.5-Turbo-FULL が最高の EUvsDisinfo F1-Macro を達成。
• 監督付き RoBERTa-Base と比較して、FULL 手法は EUvsDisinfo で F1-Macro が高く（99.0）、FA-KES でも競合的/大きな向上。
• OpenAssistant-30B-FULL は FA-KES で 55.3% 精度、54.8% F1-Macro を達成（OpenAssistant-30B-FULL）；EUvsDisinfo では 91.3% 精度、85.8% F1-Macro。
• prompting PWS はゼロショットに対して FA-KES で平均 +23.1%、EUvsDisinfo で +92.1% の F1-Macro 増加をもたらす。