[論文レビュー] A Logically Consistent Chain-of-Thought Approach for Stance Detection

Bowen Zhang, Daijun Ding+2 more|arXiv (Cornell University)|Dec 26, 2023

Anomaly Detection Techniques and Applications被引用数 4

ひとこと要約

本稿では、知識の関連性と論理的一致性を保証する、ゼロショットステイント検出のための三段階のLLMベースのアプローチである論理的整合的チェーン・オブ・チョイス（LC-CoT）を提案する。まず、知識の必要性を評価し、次にAPIコールを介してターゲットに特化した背景知識を取得し、最後に手動で作成された例示をもとにif-then論理テンプレートを適用することで、ラベル付き学習データが一切不要な状態で最先端の性能を達成した。このアプローチは、SEM16およびVASTデータセットにおいて、教師あり手法やCoTベースの手法を上回った。

ABSTRACT

Zero-shot stance detection (ZSSD) aims to detect stances toward unseen targets. Incorporating background knowledge to enhance transferability between seen and unseen targets constitutes the primary approach of ZSSD. However, these methods often struggle with a knowledge-task disconnect and lack logical consistency in their predictions. To address these issues, we introduce a novel approach named Logically Consistent Chain-of-Thought (LC-CoT) for ZSSD, which improves stance detection by ensuring relevant and logically sound knowledge extraction. LC-CoT employs a three-step process. Initially, it assesses whether supplementary external knowledge is necessary. Subsequently, it uses API calls to retrieve this knowledge, which can be processed by a separate LLM. Finally, a manual exemplar guides the LLM to infer stance categories, using an if-then logical structure to maintain relevance and logical coherence. This structured approach to eliciting background knowledge enhances the model's capability, outperforming traditional supervised methods without relying on labeled data.

研究の動機と目的

• 大規模言語モデル（LLM）を用いたゼロショットステイント検出（ZSSD）における知識タスクの乖離と論理的一致性の欠如を解消すること。
• 取得した背景知識が関連性があり論理的に整合的であることを保証することで、未学習のターゲットへの一般化を向上させること。
• ラベル付き学習データを一切必要としない方法を開発し、ZSSDの性能を向上させること。
• 構造的推論（if-then論理）を知識抽出に統合し、より信頼性の高いステイント予測を実現すること。

提案手法

• 本手法は最初に、入力テキストとターゲットに基づいて、ステイント予測に外部知識が必要かどうかをLLMが判断する。
• 知識が必要と判断された場合、LLMは外部LLMまたは知識ベースから関連する背景情報を取得するためのAPIコールを生成する。
• 別個のLLMが取得した知識を処理し、文脈的関連性と事実の整合性を確認する。
• 最終段階の推論では、手動で作成された例示とif-then論理構造を用いて、LLMが入力テキストと背景知識を統合し、ステイント分類を行う。
• 全プロセスは明示的な論理的補強を備えたチェーン・オブ・チョイス（CoT）として構造化されており、一貫性を保ち、幻覚を低減する。
• 微調整を回避し、プロンプト工学とAPIベースの知識取得にのみ依存する。

実験結果

リサーチクエスチョン

• RQ1 論理的に構造化されたチェーン・オブ・チョイスのアプローチは、知識タスクの乖離を低減することでゼロショットステイント検出を改善できるか？
• RQ2 知識適用段階でif-then論理推論を統合することで、ZSSDにおける予測の一貫性と正確性にどのような影響を与えるか？
• RQ3 ラベル付き学習データが一切ない状態で、LLMベースの手法が教師ありモデルをどれほど上回れるか？
• RQ4 エンドツーエンドのプロンプト提示と比較して、APIドリブンのターゲット指向知識取得は、未学習のターゲットへの一般化をどの程度向上させるか？

主な発見

• LC-CoTはSEM16データセットでマクロF1スコア82.9を達成し、最良のベースライン（TarBK）を3つのターゲット平均で19.5%上回った。
• VASTデータセットでは、LC-CoTがマクロF1スコア72.5を達成し、KASD-ChatGPTを5.5%、GPT-CoTを10.6%上回った。
• クロスターゲットステイント検出において、LC-CoTはTPDGに対して平均18.1%、PT-HCLに対して16.3%のF1スコア向上を達成し、優れた一般化性能を示した。
• LC-CoTは、ラベル付き学習データを一切必要とせず、SEM16およびVASTデータセットの両方で最先端の性能を達成した。
• 知識タスクの乖離が著しく低減され、論理的一致性が向上したことが、F1スコアの上昇と多様なターゲットドメインにおける安定したパフォーマンスから裏付けられた。
• 最終段階の推論でif-then論理テンプレートを用いることで、予測の信頼性が向上し、矛盾するか不適切な知識の使用が削減された。