[论文解读] Is ChatGPT a Good Sentiment Analyzer? A Preliminary Study
论文初步评估 ChatGPT(GPT-3.5)作为通用情感分析器,涵盖多任务(SC、ABSC、E2E-ABSA、ECE、ECPE)和数据集,比较零样本提示与少样本提示、微调 BERT 以及 SOTA 模型,并进行人工评估与案例研究。
Recently, ChatGPT has drawn great attention from both the research community and the public. We are particularly interested in whether it can serve as a universal sentiment analyzer. To this end, in this work, we provide a preliminary evaluation of ChatGPT on the understanding of \emph{opinions}, \emph{sentiments}, and \emph{emotions} contained in the text. Specifically, we evaluate it in three settings, including \emph{standard} evaluation, \emph{polarity shift} evaluation and \emph{open-domain} evaluation. We conduct an evaluation on 7 representative sentiment analysis tasks covering 17 benchmark datasets and compare ChatGPT with fine-tuned BERT and corresponding state-of-the-art (SOTA) models on them. We also attempt several popular prompting techniques to elicit the ability further. Moreover, we conduct human evaluation and present some qualitative case studies to gain a deep comprehension of its sentiment analysis capabilities.
研究动机与目标
- 评估 ChatGPT 在多项情感分析任务中理解文本中的观点、情感和情绪的能力。
- 将 ChatGPT 与微调后的 BERT 和 SOTA 模型在标准、极性转换、开放域和情感推断评估上进行比较。
- 探究少样本提示与人工评估对 ChatGPT 情感分析性能的影响。
- 检验 ChatGPT 处理极性转换现象和开放域泛化的能力。
- 通过情感推断评估,研究情绪原因提取和情绪-原因对提取能力。
提出的方法
- 在四种设置下评估 ChatGPT:标准评估、极性转换评估、开放域评估和情感推断评估。
- 使用覆盖 SC、ABSC、E2E-ABSA、ECE、ECPE 任务的 18 个基准数据集。
- 将 ChatGPT 与微调后的 BERT 基线和最新模型进行比较;除另有说明外,报告零样本结果。
- 以任务特定的指令和提示(表 1 提示)对 ChatGPT 进行提示,由于输出的可变性,结果手动记录。
- 对 E2E-ABSA 进行人工评估,以评估与数据集注释的一致性和实际实用性。
- 进行少样本提示实验(k = 1,3,9,27),以评估演示带来的增益。
实验结果
研究问题
- RQ1ChatGPT 是否能作为跨越标准、极性转换、开放域和情感推断评估的通用情感分析器?
- RQ2在 SC、ABSC 和 ABSA 任务中,ChatGPT 的零样本性能与微调后的 BERT 和 SOTA 模型相比如何?
- RQ3少样本提示是否显著提升 ChatGPT 在跨任务和跨域的情感分析性能?
- RQ4相较于 BERT 基线,ChatGPT 在极性转换现象(否定与推测)方面的鲁棒性有多强?
- RQ5在开放域情感分析和情绪原因提取任务中,ChatGPT 的能力表现如何?
主要发现
- ChatGPT 在情感分类方面展现出令人印象深刻的零样本性能,堪比微调后的 BERT,有时甚至接近 SOTA 模型。
- ChatGPT 在 E2E-ABSA 的逐字匹配(exact-match)评估上表现较差,但在人工评估中能给出与人类对齐的合理预测。
- 少样本提示在跨任务和跨域中显著提升性能,偶尔超越微调后的 BERT,但通常仍落后于 SOTA 模型。
- 相较于微调的 BERT,ChatGPT 对极性转换的鲁棒性更强,特别是在 ABSC 任务中。
- 在开放域评估中,ChatGPT 常能达到或超过多源微调的 BERT,且在若干数据集中接近完全监督的 BERT 性能;但不同领域的表现差异较大(如社交媒体领域仍然具有挑战性)。
- ChatGPT 展现出强大的情感推断能力,在相对于基线方法的 ECE 和 ECPE 任务中表现良好,尽管 ECPE 更具挑战性;人工评估显示存在大量接近合理预测的结果。
阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。