[论文解读] How would Stance Detection Techniques Evolve after the Launch of ChatGPT?

Bowen Zhang, Daijun Ding+3 more|arXiv (Cornell University)|Dec 30, 2022

Topic Modeling被引用 68

一句话总结

本文研究 ChatGPT 在零-shot 和就域内的立场检测基准（SemEval-2016 和 P-Stance）上的表现，结果显示 ChatGPT 可以达到 SOTA 或近 SOTA，并且能够为其预测提供解释，可能改变立场检测的研究范式。

ABSTRACT

Stance detection refers to the task of extracting the standpoint (Favor, Against or Neither) towards a target in given texts. Such research gains increasing attention with the proliferation of social media contents. The conventional framework of handling stance detection is converting it into text classification tasks. Deep learning models have already replaced rule-based models and traditional machine learning models in solving such problems. Current deep neural networks are facing two main challenges which are insufficient labeled data and information in social media posts and the unexplainable nature of deep learning models. A new pre-trained language model chatGPT was launched on Nov 30, 2022. For the stance detection tasks, our experiments show that ChatGPT can achieve SOTA or similar performance for commonly used datasets including SemEval-2016 and P-Stance. At the same time, ChatGPT can provide explanation for its own prediction, which is beyond the capability of any existing model. The explanations for the cases it cannot provide classification results are especially useful. ChatGPT has the potential to be the best AI model for stance detection tasks in NLP, or at least change the research paradigm of this field. ChatGPT also opens up the possibility of building explanatory AI for stance detection.

研究动机与目标

• 评估 ChatGPT 在标准数据集（SemEval-2016、P-Stance）上的零-shot 立场检测性能。
• 评估 ChatGPT 相对于在数据上训练的传统模型的就域内表现。
• 分析 ChatGPT 解释其立场决策的能力，以及它在立场检测中实现可解释 AI 的潜力。

提出的方法

• 构造一个直接的提示，要求 ChatGPT 给出给定推文对目标的立场（零-shot 提示）。
• 在 SemEval-2016 和 P-Stance 数据集上使用 F1-avg 和 macro-F1（F1-m）评估输出。
• 将零-shot 的 ChatGPT 结果与传统模型以及就域内（80% 训练数据）基线进行比较。
• 在 ChatGPT 无法给出立场的情况，分析其解释（以用于未来可解释 AI 的洞见）。
• 在论文的更新版本中，使用 GPT-3.5-0301 变体更新结果。

实验结果

研究问题

• RQ1 在标准数据集的零-shot 设置下，ChatGPT 是否能达到神经网络最先进水平或具有竞争力的立场检测性能？
• RQ2 就域内相比于使用大量带标签数据训练的模型，ChatGPT 的表现如何？
• RQ3 ChatGPT 为其立场决策提供了哪些解释，及多轮提示是否能进一步提升性能？
• RQ4 使用 ChatGPT 进行立场检测有哪些未来研究方向（提示设计、可解释性、多轮对话）？

主要发现

• 在零-shot 提示下，ChatGPT 在 SemEval-2016 和 P-Stance 上达到最先进或与领先模型相似的性能。
• ChatGPT 在零-shot 设置中通常优于基线，在就域内设置中保持具有竞争力。
• ChatGPT 可以为其决策提供解释，包括有明确和隐含的立场信号的情况。
• 链式提示（多轮交互）有潜在进一步提升立场检测性能。
• 三条建议的未来方向包括改进提示模板、利用 ChatGPT 的解释用于可解释 AI，以及探索多轮对话以提高对困难案例的覆盖率。