Skip to main content
QUICK REVIEW

[论文解读] Is ChatGPT a Good Sentiment Analyzer? A Preliminary Study

Zengzhi Wang, Qiming Xie|arXiv (Cornell University)|Apr 10, 2023
Topic ModelingComputer Science被引用 78
一句话总结

论文初步评估 ChatGPT(GPT-3.5)作为通用情感分析器,涵盖多任务(SC、ABSC、E2E-ABSA、ECE、ECPE)和数据集,比较零样本提示与少样本提示、微调 BERT 以及 SOTA 模型,并进行人工评估与案例研究。

ABSTRACT

Recently, ChatGPT has drawn great attention from both the research community and the public. We are particularly interested in whether it can serve as a universal sentiment analyzer. To this end, in this work, we provide a preliminary evaluation of ChatGPT on the understanding of \emph{opinions}, \emph{sentiments}, and \emph{emotions} contained in the text. Specifically, we evaluate it in three settings, including \emph{standard} evaluation, \emph{polarity shift} evaluation and \emph{open-domain} evaluation. We conduct an evaluation on 7 representative sentiment analysis tasks covering 17 benchmark datasets and compare ChatGPT with fine-tuned BERT and corresponding state-of-the-art (SOTA) models on them. We also attempt several popular prompting techniques to elicit the ability further. Moreover, we conduct human evaluation and present some qualitative case studies to gain a deep comprehension of its sentiment analysis capabilities.

研究动机与目标

  • 评估 ChatGPT 在多项情感分析任务中理解文本中的观点、情感和情绪的能力。
  • 将 ChatGPT 与微调后的 BERT 和 SOTA 模型在标准、极性转换、开放域和情感推断评估上进行比较。
  • 探究少样本提示与人工评估对 ChatGPT 情感分析性能的影响。
  • 检验 ChatGPT 处理极性转换现象和开放域泛化的能力。
  • 通过情感推断评估,研究情绪原因提取和情绪-原因对提取能力。

提出的方法

  • 在四种设置下评估 ChatGPT:标准评估、极性转换评估、开放域评估和情感推断评估。
  • 使用覆盖 SC、ABSC、E2E-ABSA、ECE、ECPE 任务的 18 个基准数据集。
  • 将 ChatGPT 与微调后的 BERT 基线和最新模型进行比较;除另有说明外,报告零样本结果。
  • 以任务特定的指令和提示(表 1 提示)对 ChatGPT 进行提示,由于输出的可变性,结果手动记录。
  • 对 E2E-ABSA 进行人工评估,以评估与数据集注释的一致性和实际实用性。
  • 进行少样本提示实验(k = 1,3,9,27),以评估演示带来的增益。

实验结果

研究问题

  • RQ1ChatGPT 是否能作为跨越标准、极性转换、开放域和情感推断评估的通用情感分析器?
  • RQ2在 SC、ABSC 和 ABSA 任务中,ChatGPT 的零样本性能与微调后的 BERT 和 SOTA 模型相比如何?
  • RQ3少样本提示是否显著提升 ChatGPT 在跨任务和跨域的情感分析性能?
  • RQ4相较于 BERT 基线,ChatGPT 在极性转换现象(否定与推测)方面的鲁棒性有多强?
  • RQ5在开放域情感分析和情绪原因提取任务中,ChatGPT 的能力表现如何?

主要发现

  • ChatGPT 在情感分类方面展现出令人印象深刻的零样本性能,堪比微调后的 BERT,有时甚至接近 SOTA 模型。
  • ChatGPT 在 E2E-ABSA 的逐字匹配(exact-match)评估上表现较差,但在人工评估中能给出与人类对齐的合理预测。
  • 少样本提示在跨任务和跨域中显著提升性能,偶尔超越微调后的 BERT,但通常仍落后于 SOTA 模型。
  • 相较于微调的 BERT,ChatGPT 对极性转换的鲁棒性更强,特别是在 ABSC 任务中。
  • 在开放域评估中,ChatGPT 常能达到或超过多源微调的 BERT,且在若干数据集中接近完全监督的 BERT 性能;但不同领域的表现差异较大(如社交媒体领域仍然具有挑战性)。
  • ChatGPT 展现出强大的情感推断能力,在相对于基线方法的 ECE 和 ECPE 任务中表现良好,尽管 ECPE 更具挑战性;人工评估显示存在大量接近合理预测的结果。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。