[论文解读] ChatAgri: Exploring Potentials of ChatGPT on Cross-linguistic Agricultural Text Classification

Biao Zhao, Weiqiang Jin+2 more|arXiv (Cornell University)|May 24, 2023

ICT in Developing Communities被引用 15

一句话总结

ChatAgri 表明 ChatGPT 能够执行农业文本分类，其准确度与对 PLM 微调相当，并且在跨语言迁移和零-shot 能力方面表现强劲，无需领域特定微调。

ABSTRACT

In the era of sustainable smart agriculture, a massive amount of agricultural news text is being posted on the Internet, in which massive agricultural knowledge has been accumulated. In this context, it is urgent to explore effective text classification techniques for users to access the required agricultural knowledge with high efficiency. Mainstream deep learning approaches employing fine-tuning strategies on pre-trained language models (PLMs), have demonstrated remarkable performance gains over the past few years. Nonetheless, these methods still face many drawbacks that are complex to solve, including: 1. Limited agricultural training data due to the expensive-cost and labour-intensive annotation; 2. Poor domain transferability, especially of cross-linguistic ability; 3. Complex and expensive large models deployment.Inspired by the extraordinary success brought by the recent ChatGPT (e.g. GPT-3.5, GPT-4), in this work, we systematically investigate and explore the capability and utilization of ChatGPT applying to the agricultural informatization field. ....(shown in article).... Code has been released on Github https://github.com/albert-jin/agricultural_textual_classification_ChatGPT.

研究动机与目标

• 在数据与标注瓶颈背景下，推动使用大语言模型进行农业文本分类。
• 评估 ChatGPT（GPT-3.5）和 GPT-4 相对于基于 PLM 的微调与提示微调基线的表现。
• 研究提示构建、答案对齐以及 ChatGPT 变体以最大化分类性能。
• 评估跨语言迁移性在多语言农业数据集上的表现。
• 推动用于农业信息处理的可获取、低资源部署的 AI。

提出的方法

• 设计并测试多种任务特定提示策略（手动提示、触发的 ChatGPT 提示、零-shot 相似度提示，以及链式思维提示）。
• 定义答案对齐策略，将 ChatGPT 的输出映射到预定义类别。
• 通过系统实验，将基于 ChatGPT 的分类与基于 PLM 的微调与提示微调基线进行比较。
• 进行零-shot 与多语言实验，以评估在无领域特定微调的情况下的迁移能力。
• 发布 ChatAgri 代码，以实现可重复性和进一步研究。

Figure 1: Valuable suggestions advised by ChatGPT for assisting farmers and market regulator in better governing agricultural affairs (Query Date: 2023.3.16).

实验结果

研究问题

• RQ1 在不对农业数据进行微调的情况下，ChatGPT 是否能够实现具有竞争力的农业文本分类性能？
• RQ2 提示构建和答案对齐如何影响基于 ChatGPT 的分类准确性？
• RQ3 ChatAgri 是否在跨语言多语言农业语料库上表现出迁移能力？
• RQ4 在实际场景中部署 ChatAgri 的硬件与接口需求是什么？

主要发现

• 基于 ChatGPT 的 ChatAgri 相较于基于 PLM 的微调方法，取得具有竞争力的表现。
• 零-shot 学习实验展示了 ChatAgri 在没有标注农业数据的情况下的潜力。
• 多语言实验显示在农业议题上的出色跨语言迁移能力。
• ChatAgri 依赖网络接口、较低的硬件需求，避免大规模模型部署。
• 作者在 GitHub 上发布了 ChatAgri 代码以支持可重复性和后续研究。

Figure 2: The paradigm comparison of the ChatGPT-based NLP solutions and existing prompt learning paradigm using an agricultural sentiment analysis example. Part. (a) denotes the task prototype of the agricultural sentiment analysis; Part. (b) denotes the standard workflow of ChatGPT-based approache