[论文解读] Investigating Chain-of-thought with ChatGPT for Stance Detection on Social Media

Bowen Zhang, Xianghua Fu+6 more|arXiv (Cornell University)|Apr 6, 2023

Misinformation and Its Impacts被引用 17

一句话总结

本文研究使用 Chain-of-Thought 提示（Chain-of-Thought prompting）结合 ChatGPT（GPT-3.5）在社交媒体立场检测中的应用，结果显示 CoT 在不进行训练的情况下可达到先进水平或具有竞争力的结果，同时讨论偏见和提示设计问题。

ABSTRACT

Stance detection predicts attitudes towards targets in texts and has gained attention with the rise of social media. Traditional approaches include conventional machine learning, early deep neural networks, and pre-trained fine-tuning models. However, with the evolution of very large pre-trained language models (VLPLMs) like ChatGPT (GPT-3.5), traditional methods face deployment challenges. The parameter-free Chain-of-Thought (CoT) approach, not requiring backpropagation training, has emerged as a promising alternative. This paper examines CoT's effectiveness in stance detection tasks, demonstrating its superior accuracy and discussing associated challenges.

研究动机与目标

• 通过解决在社交媒体上进行立场检测的 VLPLMs 部署挑战来推动本研究。
• 评估无参数 Chain-of-Thought 提示（DQA 和 StSQA）结合 ChatGPT 在不进行训练的情况下进行立场预测。
• 在多个数据集上将基于 CoT 的提示与传统方法及其他基线进行比较。
• 识别影响 CoT 在立场检测中的性能的局限性和偏见问题。

提出的方法

• 比较两种 CoT 提示策略：直接问答（DQA）和逐步问答（StSQA）。
• 在零-shot 设置（DQA）和一-shot 提示（StSQA）下从 ChatGPT（GPT-3.5）获取立场判断。
• 构建包含 QAP（question-answer pair）和 CoT 解释的提示以指导推理。
• 在 SemEval-2016、VAST（零-shot）和 P-Stance 数据集上使用 macro-F1 和 Favg 指标进行评估。
• 与一系列立场检测基线进行对比（例如 Bicond、CrossNet、SEKT、MemNet、AOA、TAN、ASGCN、Bert_spc、Bert-GCN、PT-HCL）。
• 分析影响 CoT 性能的因素，包括目标偏见、QAP 的数量和类型，以及立场任务的粒度。

实验结果

研究问题

• RQ1 使用 ChatGPT 的 CoT 提示在无需训练的情况下是否能够达到最先进或具有竞争力的立场检测性能？
• RQ2 在标准数据集的零-shot 和一-shot 设置中，不同的 CoT 提示策略（DQA vs. StSQA）有何比较？
• RQ3 哪些限制与偏见会影响基于 CoT 的社交媒体立场检测（例如目标偏见、QAP 选择、任务粒度）？

主要发现

• 在多个数据集上，使用 ChatGPT 的 CoT 提示在不训练的情况下可达到最先进或相当的立场检测性能。
• StSQA 在零-shot 情况下表现出色，且常常优于竞争基线。
• ChatGPT 显示出对特定主题的目标偏见，可能降低某些主题的性能，表明提示策略和目标选择需要谨慎设计。
• QAP 的数量和类型对性能有显著影响，过于具体的提示有时会降低准确性。
• 细粒度的立场定义（对目标的多重视角）给直接极性分类带来挑战，需进一步研究。