[論文レビュー] Logical Fallacy Detection

Zhijing Jin, Abhinav Lalwani+7 more|arXiv (Cornell University)|Jan 1, 2022

Topic Modeling被引用数 2

ひとこと要約

本稿では、自然言語における推論の誤りを検出する新しいNLPタスクを導入し、論理的誤謬の検出のための新規データセット（LOGIC）とチャレンジセット（LOGICCLIMATE）を提案する。構造に配慮した分類器は、LOGICでは大規模言語モデル（LLM）よりも5.46%高いF1スコアを達成し、LOGICCLIMATEでは4.51%高いF1スコアを記録した。これは、論理的構造の理解が誤謬検出において極めて重要であることを示しており、推論評価と誤情報抑止のための新たなベンチマークを提供する。

ABSTRACT

Reasoning is central to human intelligence. However, fallacious arguments are common, and some exacerbate problems such as spreading misinformation about climate change. In this paper, we propose the task of logical fallacy detection, and provide a new dataset (Logic) of logical fallacies generally found in text, together with an additional challenge set for detecting logical fallacies in climate change claims (LogicClimate). Detecting logical fallacies is a hard problem as the model must understand the underlying logical structure of the argument. We find that existing pretrained large language models perform poorly on this task. In contrast, we show that a simple structure-aware classifier outperforms the best language model by 5.46% on Logic and 4.51% on LogicClimate. We encourage future work to explore this task as (a) it can serve as a new reasoning challenge for language models, and (b) it can have potential applications in tackling the spread of misinformation. Our dataset and code are available at https://github.com/causalNLP/logical-fallacy

研究の動機と目的

• 自然言語における論理的誤謬検出というタスクを形式化し、明確に定義すること。
• 一般のテキストに見られる13種類の一般的な論理的誤謬のタイプを含む、新規データセット（LOGIC）を構築すること。
• 気候変動に関する主張における誤謬に焦点を当てた、特化したチャレンジセット（LOGICCLIMATE）を作成すること。
• 事前学習済みの大規模言語モデルのこのタスクにおける性能を評価し、その限界を同定すること。
• 構造に配慮した分類器を提案・検証し、誤謬検出の強力なベースラインを提供すること。

提案手法

• 著者らは、13種類の論理的誤謬のタイプにわたる1,500件以上の主張を収集・アノテートし、LOGICデータセットを構築した。
• 気候変動の議論に特化した500件の主張を含むチャレンジセット（LOGICCLIMATE）を構築した。
• 論理的および句構造的依存関係を分析できるように設計された、構造に配慮した分類器を考案した。
• 依存構文解析と論理的パターン照合を用いて、誤謬タイプを検出する。
• LOGICおよびLOGICCLIMATEの両データセットで、マイクロF1スコアを用いて性能を評価した。
• 事前学習済み言語モデル（例：BERT、RoBERTa）を微調整し、構造に配慮したアプローチと比較した。

実験結果

リサーチクエスチョン

• RQ1 論理的誤謬検出は、信頼性のあるアノテーションが可能である明確なNLPタスクとして形式化可能か？
• RQ2 既存の大規模言語モデルは、自然言語における論理的誤謬の検出においてどの程度の性能を示すか？
• RQ3 神経言語表現に依存するのではなく、論理的構造を明示的にモデル化することで、誤謬検出の性能が向上するか？
• RQ4 気候関連の誤謬に特化したデータセットは、高リスクな誤情報文脈における検出性能を向上させられるか？
• RQ5 特に気候変動に関する議論において、最も頻出で欺瞞的である誤謬タイプは何か？

主な発見

• 事前学習済みの大規模言語モデルは、LOGICデータセットで8.62%から53.31%のマイクロF1スコアを示し、論理的推論タスクにおける性能が低いことが示された。
• 提案された構造に配慮した分類器は、LOGICデータセットで最良の大規模言語モデルよりも5.46%高いF1スコアを達成した。
• LOGICCLIMATEチャレンジセットでは、構造に配慮したモデルが最良のLLMよりも4.51%高いF1スコアを記録し、分野特化型誤謬への一般化性能が優れていることが示された。
• データセットにおける最も頻出する誤謬タイプは、誤った一般化（18.01%）と人に対する攻撃（12.33%）であり、公共の議論における一般的な推論の誤りを示している。
• 本研究では、事実的に正しい主張でも論理的に誤りである場合があることが明らかになった。これは、事実確認を超えた誤謬検出の必要性を強調している。
• 結果から、特に気候変動のような高リスク分野において、論理的構造の明示的モデリングが、強固な誤謬検出に不可欠であることが示唆された。