[论文解读] Large Language Models and Foundation Models in Smart Agriculture: Basics, Opportunities, and Challenges

Jiajia Li, Mingle Xu+5 more|arXiv (Cornell University)|Aug 13, 2023

Smart Agriculture and AI被引用 7

一句话总结

本文提出农业基础模型（AFMs）作为一种变革性范式，用于智能农业，利用大规模预训练模型减少对昂贵标注数据的依赖，并提升在作物监测、病害检测和精准农业等任务中的泛化能力。该研究提出了一套基于语言、视觉、多模态和强化学习基础的AFM开发框架，关键结果表明，在分布偏移下性能下降极小（≤40%），并通过量化和边缘计算实现了有前景的部署。

ABSTRACT

The past decade has witnessed the rapid development and adoption of ML & DL methodologies in agricultural systems, showcased by great successes in agricultural applications. However, these conventional ML/DL models have certain limitations: they heavily rely on large, costly-to-acquire labeled datasets for training, require specialized expertise for development and maintenance, and are mostly tailored for specific tasks, thus lacking generalizability. Recently, large pre-trained models, also known as FMs, have demonstrated remarkable successes in language, vision, and decision-making tasks across various domains. These models are trained on a large amount of data from multiple domains and modalities. Once trained, they can accomplish versatile tasks with just minor fine-tuning and minimal task-specific labeled data. Despite their proven effectiveness and huge potential, there has been little exploration of applying FMs to agriculture AI. Thus, this study aims to explore the potential of FMs in the field of smart agriculture. In particular, conceptual tools and technical background are presented to help the understanding of the problem space and uncover new research directions. To this end, recent FMs in the general CS domain are reviewed, and the models are categorized into four categories: language FMs, vision FMs, multimodal FMs, and reinforcement learning FMs. Then, the steps of developing agriculture FMs (AFMs) are outlined and potential applications in smart agriculture are discussed. Moreover, challenges and risks associated with developing AFMs are discussed, including model training, validation, and deployment. In summary, the advancement of AI in agriculture is explored by introducing AFMs as a promising paradigm that can significantly mitigate the reliance on extensive labeled datasets and enhance the efficiency, effectiveness, and generalization of agricultural AI systems.

研究动机与目标

• 解决传统监督式机器学习/深度学习模型在农业中成本高昂且泛化能力有限的问题，这些模型需要大量标注数据集。
• 识别尽管基础模型（FMs）在其他领域取得成功，但在农业中应用仍存在空白。
• 提出一个跨多种模态的农业基础模型（AFMs）开发概念与技术框架。
• 突出基础模型在提升智能农业应用中效率、可扩展性和适应性方面的潜力。
• 概述在训练、验证和现实世界部署AFMs过程中面临的挑战，特别是计算需求和推理速度方面。

提出的方法

• 根据能力与架构，将基础模型分为四类：语言基础模型、视觉基础模型、多模态基础模型和强化学习基础模型。
• 通过微调和提示工程，将通用领域（如ImageNet、COCO、CLIP）的预训练模型适配至农业任务。
• 应用迁移学习和少样本适应技术，以最小化农业任务中对特定标注数据的需求。
• 采用模型压缩技术，如剪枝、量化（例如4-bit和3-bit）以及轻量化架构设计（如MobileSAM），以减小模型尺寸并提升推理速度。
• 集成边缘计算与硬件优化推理框架（如MLC LLM、FQ-ViT），实现在田间条件下的设备端部署。
• 利用检索增强生成（RAG）和提示调优，提升农业决策中的推理能力和零样本泛化性能。

实验结果

研究问题

• RQ1 如何适配基础模型以减少在农业应用中对大规模、特定任务标注数据集的依赖？
• RQ2 在真实农业环境中训练、验证和部署基础模型时，面临哪些关键技术与操作挑战？
• RQ3 基础模型在植物病害检测、杂草识别和牲畜监测等多样化农业任务中，其泛化能力能达到何种程度？
• RQ4 量化与模型压缩技术如何影响边缘部署的农业系统中基础模型的性能与推理速度？
• RQ5 多模态与基于强化学习的基础模型在推动精准农业与农业机器人发展方面发挥什么作用？

主要发现

• 基础模型在农业中展现出强大的零样本与少样本泛化能力，在分布偏移下性能下降仅为2%至40%，具体取决于任务与数据偏移严重程度。
• 经过量化的视觉Transformer模型FQ-ViT在4-bit量化下实现近乎无损的准确率（≈1%性能下降），支持高效的设备端推理。
• SqueezeLLM通过3-bit量化实现高达2.3倍的推理加速，并将困惑度差距降低2.1倍，提升效率而不损失性能。
• MobileSAM作为Segment Anything Model的轻量化版本，体积比原始模型小逾60倍，同时保持相近的分割准确率，支持移动端部署。
• 边缘计算与硬件优化框架（如MLC LLM）可实现语言模型在多种硬件上的原生部署，显著加速田间应用中的推理过程。
• 所提出的AFM框架支持智能作物管理、植物育种、畜牧养殖、水产养殖和机器人技术等多样化应用，显著提升可扩展性与适应性。