[论文解读] A Logically Consistent Chain-of-Thought Approach for Stance Detection

Bowen Zhang, Daijun Ding+2 more|arXiv (Cornell University)|Dec 26, 2023

Anomaly Detection Techniques and Applications被引用 4

一句话总结

本文提出逻辑一致思维链（LC-CoT），一种基于大语言模型（LLM）的三阶段零样本立场检测方法，确保知识相关性与逻辑一致性。通过首先评估知识必要性，然后通过API调用检索针对性的背景知识，最后应用由人工示例引导的if-then逻辑模板，LC-CoT在无需任何标注训练数据的情况下实现了最先进性能，在SEM16和VAST数据集上优于监督方法与CoT基方法。

ABSTRACT

Zero-shot stance detection (ZSSD) aims to detect stances toward unseen targets. Incorporating background knowledge to enhance transferability between seen and unseen targets constitutes the primary approach of ZSSD. However, these methods often struggle with a knowledge-task disconnect and lack logical consistency in their predictions. To address these issues, we introduce a novel approach named Logically Consistent Chain-of-Thought (LC-CoT) for ZSSD, which improves stance detection by ensuring relevant and logically sound knowledge extraction. LC-CoT employs a three-step process. Initially, it assesses whether supplementary external knowledge is necessary. Subsequently, it uses API calls to retrieve this knowledge, which can be processed by a separate LLM. Finally, a manual exemplar guides the LLM to infer stance categories, using an if-then logical structure to maintain relevance and logical coherence. This structured approach to eliciting background knowledge enhances the model's capability, outperforming traditional supervised methods without relying on labeled data.

研究动机与目标

• 为解决在大语言模型（LLM）进行零样本立场检测（ZSSD）时存在的知识-任务脱节与逻辑不一致问题。
• 通过确保检索到的背景知识既相关又逻辑连贯，提升对未见目标的可迁移性。
• 开发一种无需标注训练数据即可提升ZSSD性能的方法。
• 将结构化推理（if-then逻辑）整合到知识获取过程中，以实现更可靠的立场预测。

提出的方法

• 该方法首先使用大语言模型判断输入文本与目标是否需要外部知识以进行立场预测。
• 若需要知识，则大语言模型生成API调用，从外部大语言模型或知识库中检索相关背景信息。
• 另一个大语言模型负责处理检索到的知识，以确保其上下文相关性与事实一致性。
• 最终推理阶段使用人工整理的示例，结合if-then逻辑结构，引导大语言模型将输入文本与背景知识结合，完成立场分类。
• 整个过程以思维链（CoT）形式组织，通过显式的逻辑支撑结构保持连贯性，减少幻觉现象。
• 该方法避免微调，完全依赖提示工程与基于API的知识检索。

实验结果

研究问题

• RQ1 通过减少知识-任务脱节，逻辑结构化的思维链方法是否能提升零样本立场检测性能？
• RQ2 在知识应用中整合if-then逻辑推理，如何影响ZSSD中的预测一致性与准确性？
• RQ3 在无任何标注训练数据的情况下，基于大语言模型的方法在ZSSD中能否显著超越监督模型？
• RQ4 与端到端提示方法相比，基于API的针对性知识检索是否能增强对未见目标的泛化能力？

主要发现

• 在SEM16数据集上，LC-CoT的宏平均F1得分为82.9，相较于最佳基线方法（TarBK）在三个目标上的平均性能提升19.5%。
• 在VAST数据集上，LC-CoT的宏平均F1得分为72.5，分别超越KASD-ChatGPT 5.5%与GPT-CoT 10.6%。
• 在跨目标立场检测中，LC-CoT相较于TPDG平均提升F1 18.1%，相较于PT-HCL提升16.3%，展现出强大的泛化能力。
• LC-CoT在SEM16与VAST两个数据集上均实现了最先进性能，且无需任何标注训练数据。
• 该方法显著减少了知识-任务脱节现象，并提升了逻辑一致性，表现为更高的F1得分与在多样化目标领域中的稳定表现。
• 在最终推理步骤中使用if-then逻辑模板，增强了预测可靠性，减少了矛盾或无关知识的使用。