[논문 리뷰] ChatAgri: Exploring Potentials of ChatGPT on Cross-linguistic Agricultural Text Classification

Biao Zhao, Weiqiang Jin외 2명|arXiv (Cornell University)|2023. 05. 24.

ICT in Developing Communities인용 수 15

한 줄 요약

ChatAgri는 ChatGPT가 농업 텍스트 분류를 수행할 수 있으며 PLM 미세 조정과 경쟁력 있는 정확도를 보이고, 강력한 다언어 간 전이와 도메인 특화 미세 조정 없이 제로샷 가능성을 제공한다는 점을 보여준다.

ABSTRACT

In the era of sustainable smart agriculture, a massive amount of agricultural news text is being posted on the Internet, in which massive agricultural knowledge has been accumulated. In this context, it is urgent to explore effective text classification techniques for users to access the required agricultural knowledge with high efficiency. Mainstream deep learning approaches employing fine-tuning strategies on pre-trained language models (PLMs), have demonstrated remarkable performance gains over the past few years. Nonetheless, these methods still face many drawbacks that are complex to solve, including: 1. Limited agricultural training data due to the expensive-cost and labour-intensive annotation; 2. Poor domain transferability, especially of cross-linguistic ability; 3. Complex and expensive large models deployment.Inspired by the extraordinary success brought by the recent ChatGPT (e.g. GPT-3.5, GPT-4), in this work, we systematically investigate and explore the capability and utilization of ChatGPT applying to the agricultural informatization field. ....(shown in article).... Code has been released on Github https://github.com/albert-jin/agricultural_textual_classification_ChatGPT.

연구 동기 및 목표

• 데이터 및 주석 병목 현상 속에서 농업 텍스트 분류를 위한 대형 언어 모델 사용을 촉진한다.
• PLM 기반 미세조정 및 프롬프트 튜닝 기반 비교대상과 함께 ChatGPT(GPT-3.5)와 GPT-4를 평가한다.
• 분류 성능 극대화를 위한 프롬프트 구성, 답변 정렬, 및 ChatGPT 변형을 조사한다.
• 다국어 농업 데이터셋 간의 다언어 간 전이 가능성을 평가한다.
• 농업 정보 처리를 위한 AI의 접근 가능하고 저자원 배치를 촉진한다.

제안 방법

• 다양한 작업 특화 프롬프트 전략을 설계하고 테스트한다(수동 프롬프트, ChatGPT 기반 프롬프트, 제로샷 유사도 프롬프트, Chain-of-Thought 프롬프트).
• ChatGPT 출력물을 미리 정의된 범주에 매핑하기 위한 답변 정렬 전략을 정의한다.
• 체계적인 실험을 통해 ChatGPT 기반 분류를 PLM 기반 미세조정 및 프롬프트 튜닝 대 baseline과 비교한다.
• 도메인 특화 미세조정 없이 전이 가능성을 평가하기 위해 제로샷 및 다국어 실험을 수행한다.
• 재현성 및 추가 연구를 위한 ChatAgri 코드를 공개한다.

Figure 1: Valuable suggestions advised by ChatGPT for assisting farmers and market regulator in better governing agricultural affairs (Query Date: 2023.3.16).

실험 결과

연구 질문

• RQ1 농업 데이터에 대한 미세조정 없이도 ChatGPT가 경쟁력 있는 농업 텍스트 분류 성능을 달성할 수 있는가?
• RQ2 프롬프트 구성과 답변 정렬이 ChatGPT 기반 분류 정확도에 어떤 영향을 미치는가?
• RQ3 ChatAgri가 다국어 농업 코퍼스에서 다언어 간 전이 가능성을 보이는가?
• RQ4 실용 환경에서 ChatAgri를 배치하기 위한 하드웨어 및 인터페이스 요구사항은 무엇인가?

주요 결과

• ChatGPT 기반 ChatAgri가 PLM 기반 미세조정 방법과 경쟁력 있는 성능을 달성한다.
• 제로샷 학습 실험은 주석이 달린 농업 데이터 없이도 ChatAgri의 가능성을 시연한다.
• 다국어 실험은 농업 주제 전반에 걸친 뛰어난 다언어 간 전이 가능성을 보여준다.
• ChatAgri는 최소한의 하드웨어로 네트워크 인터페이스에 의존하여 대규모 모델 배치를 피한다.
• 저자들은 재현성과 추가 연구를 지원하기 위해 GitHub에 ChatAgri 코드를 공개했다.

Figure 2: The paradigm comparison of the ChatGPT-based NLP solutions and existing prompt learning paradigm using an agricultural sentiment analysis example. Part. (a) denotes the task prototype of the agricultural sentiment analysis; Part. (b) denotes the standard workflow of ChatGPT-based approache