[论文解读] Can ChatGPT's Responses Boost Traditional Natural Language Processing?

Mostafa M. Amin, Erik Cambria+1 more|arXiv (Cornell University)|Jul 6, 2023

ECG Monitoring and AnalysisMedicine被引用 3

一句话总结

本文研究了ChatGPT生成的详细回答是否包含传统NLP模型在情感计算任务中可利用的新知识。通过提示ChatGPT对情感分析、自杀倾向检测和人格评估任务进行详细推理，并采用早期或晚期融合将这些回答与RoBERTa或BoW特征融合，研究结果表明，ChatGPT的详细输出提供了独特信息，可显著提升模型性能，尤其在结合微调后的NLP技术时效果更佳。

ABSTRACT

The employment of foundation models is steadily expanding, especially with the launch of ChatGPT and the release of other foundation models. These models have shown the potential of emerging capabilities to solve problems, without being particularly trained to solve. A previous work demonstrated these emerging capabilities in affective computing tasks; the performance quality was similar to traditional Natural Language Processing (NLP) techniques, but falling short of specialised trained models, like fine-tuning of the RoBERTa language model. In this work, we extend this by exploring if ChatGPT has novel knowledge that would enhance existing specialised models when they are fused together. We achieve this by investigating the utility of verbose responses from ChatGPT about solving a downstream task, in addition to studying the utility of fusing that with existing NLP methods. The study is conducted on three affective computing problems, namely sentiment analysis, suicide tendency detection, and big-five personality assessment. The results conclude that ChatGPT has indeed novel knowledge that can improve existing NLP techniques by way of fusion, be it early or late fusion.

研究动机与目标

• 探究ChatGPT的详细回答是否包含微调后的NLP模型（如RoBERTa）中未包含的新知识。
• 评估将ChatGPT的详细输出与传统NLP特征（RoBERTa和BoW）融合在情感计算任务中的有效性。
• 比较早期融合（特征级拼接）与晚期融合（预测概率平均）在提升模型性能方面的效果。
• 通过利用详细推理，解决从非详细ChatGPT回答中解析非统一标签格式的挑战。
• 证明通过NLP技术处理详细回答可实现可靠融合，并在性能上优于直接解析标签的基线方法。

提出的方法

• 提示ChatGPT为三种二分类任务（情感分析、自杀倾向检测、大五人格评估）生成详细、分步推理的回答。
• 使用RoBERTa-base和n-gram词袋（BoW）表示法，从原始输入文本和ChatGPT生成的详细回答中提取上下文特征。
• 在每种模态（如Text+RoBERTa、ChatGPT+RoBERTa）的提取特征上分别训练多层感知机（MLPs）。
• 通过在最终预测前拼接多个模态的特征向量，实现早期融合。
• 通过在各模态的独立模型预测概率上取平均，实现晚期融合。
• 采用基线方法，仅解析非详细ChatGPT回答中的最终标签，用于与详细回答处理方法的性能对比。

实验结果

研究问题

• RQ1 ChatGPT的详细回答是否能提供超越专用NLP模型的新知识，从而提升情感计算任务的性能？
• RQ2 将ChatGPT详细回答的特征与传统NLP特征（RoBERTa或BoW）融合，是否能带来优于单一模态的性能提升？
• RQ3 在结合ChatGPT与NLP模型输出时，早期融合（特征级拼接）与晚期融合（预测级平均）哪种策略更有效？
• RQ4 与直接从非详细回答中解析标签相比，使用NLP技术处理详细回答在性能和可靠性方面有何差异？
• RQ5 在哪些任务中，ChatGPT与NLP模型的融合能带来最大性能提升？其影响因素是什么？

主要发现

• ChatGPT的详细回答包含新颖且有用的知识，可增强传统NLP模型在情感计算任务中的表现，尤其在与RoBERTa或BoW特征融合时效果显著。
• 在情感分析任务中，晚期融合始终优于早期融合；而在自杀检测任务中，早期融合表现更优，表明最优融合策略具有任务依赖性。
• 在大五人格评估任务中，仅使用原始文本的RoBERTa模型表现最佳，表明ChatGPT的回答在此任务中可靠性较低。
• 与直接解析非详细回答中标签的基线方法相比，使用NLP技术处理详细回答显著提升了性能，后者因标签格式不一致而表现不稳定。
• 将ChatGPT的详细回答与RoBERTa特征融合——尤其是通过早期融合——在各项任务中均实现了最高整体性能，证明了大语言模型推理与微调序列编码器结合的价值。
• 使用RoBERTa同时处理原始文本和ChatGPT回答，在大多数情况下已足以实现最先进性能，从而减少了对复杂融合架构的依赖。