[論文レビュー] ChatAgri: Exploring Potentials of ChatGPT on Cross-linguistic Agricultural Text Classification

Biao Zhao, Weiqiang Jin+2 more|arXiv (Cornell University)|May 24, 2023

ICT in Developing Communities被引用数 15

ひとこと要約

ChatAgri は、ChatGPT が農業テキスト分類を行い、 PLM微調整と競合する精度を提供できることを示しており、ドメイン特化の微調整なしで強力な多言語間移行とゼロショット能力を提供します。

ABSTRACT

In the era of sustainable smart agriculture, a massive amount of agricultural news text is being posted on the Internet, in which massive agricultural knowledge has been accumulated. In this context, it is urgent to explore effective text classification techniques for users to access the required agricultural knowledge with high efficiency. Mainstream deep learning approaches employing fine-tuning strategies on pre-trained language models (PLMs), have demonstrated remarkable performance gains over the past few years. Nonetheless, these methods still face many drawbacks that are complex to solve, including: 1. Limited agricultural training data due to the expensive-cost and labour-intensive annotation; 2. Poor domain transferability, especially of cross-linguistic ability; 3. Complex and expensive large models deployment.Inspired by the extraordinary success brought by the recent ChatGPT (e.g. GPT-3.5, GPT-4), in this work, we systematically investigate and explore the capability and utilization of ChatGPT applying to the agricultural informatization field. ....(shown in article).... Code has been released on Github https://github.com/albert-jin/agricultural_textual_classification_ChatGPT.

研究の動機と目的

• データとアノテーションのボトルネックの中で、農業テキスト分類のために大規模言語モデルの活用を動機づける。
• ChatGPT (GPT-3.5) および GPT-4 を、PLMベースの微調整およびプロンプト調整のベースラインと比較評価する。
• 分類性能を最大化するためのプロンプト構築、回答整合性、および ChatGPT のバリアントを調査する。
• 多言語の農業データセット間の横断的移転性を評価する。
• 農業情報処理のためのアクセス可能で低リソースな AI 展開を促進する。

提案手法

• 複数のタスク固有の prompting 戦略を設計・検証する（手動プロンプト、ChatGPT 連動プロンプト、ゼロショット類似度プロンプト、Chain-of-Thought プロンプト）。
• ChatGPT の出力を事前定義されたカテゴリへマッピングする回答整合戦略を定義する。
• 体系的な実験を通じて、ChatGPT ベースの分類を PLM ベースの微調整およびプロンプト調整ベースラインと比較する。
• ドメイン固有の微調整を行わずに転移可能性を評価するため、ゼロショットおよび多言語実験を実施する。
• 再現性とさらなる研究を可能にするために ChatAgri コードを公開する。

Figure 1: Valuable suggestions advised by ChatGPT for assisting farmers and market regulator in better governing agricultural affairs (Query Date: 2023.3.16).

実験結果

リサーチクエスチョン

• RQ1 ChatGPT は農業データの微調整なしで競争力のある農業テキスト分類性能を達成できるか？
• RQ2 プロンプト構築と回答整合性は ChatGPT ベースの分類精度にどのように影響するか？
• RQ3 ChatAgri は多言語の農業コーパス間で横断的移転性を示すか？
• RQ4 実務環境で ChatAgri を展開するためのハードウェアおよびインターフェース要件は何か？

主な発見

• ChatGPT ベースの ChatAgri は、PLM ベースの微調整手法と比較して競争力のある性能を達成する。
• ゼロショット学習の実験は、注釈付きの農業データなしでの ChatAgri の潜在能力を示す。
• 多言語実験は、農業分野のトピック間で優れた横断的移転性を示す。
• ChatAgri は最小限のハードウェアでネットワークインターフェースに依存し、大規模モデルの展開を回避する。
• 著者は再現性とさらなる研究を支援するために ChatAgri コードを GitHub に公開した。

Figure 2: The paradigm comparison of the ChatGPT-based NLP solutions and existing prompt learning paradigm using an agricultural sentiment analysis example. Part. (a) denotes the task prototype of the agricultural sentiment analysis; Part. (b) denotes the standard workflow of ChatGPT-based approache