[논문 리뷰] Large Language Models and Foundation Models in Smart Agriculture: Basics, Opportunities, and Challenges

Jiajia Li, Mingle Xu외 5명|arXiv (Cornell University)|2023. 08. 13.

Smart Agriculture and AI인용 수 7

한 줄 요약

이 논문은 스마트 농업을 위한 전환적 패러다임으로 农业 기초 모델(AFMs)을 도입하며, 대규모 미리 훈련된 모델을 활용해 고비용의 레이블링 데이터에 대한 의존도를 낮추고 작물 모니터링, 병해충 감지, 정밀 농업 등의 작업 간 일반화 능력을 향상시킵니다. 언어, 시각, 다중모달, 강화학습 기반의 기초 모델을 활용한 AFM 개발 프레임워크를 제안하며, 분포 변화 상황에서도 성능 저하가 최소화(≤40%)되고 양자화 및 엣지 컴퓨팅을 통한 유망한 구현 가능성을 보여줍니다.

ABSTRACT

The past decade has witnessed the rapid development and adoption of ML & DL methodologies in agricultural systems, showcased by great successes in agricultural applications. However, these conventional ML/DL models have certain limitations: they heavily rely on large, costly-to-acquire labeled datasets for training, require specialized expertise for development and maintenance, and are mostly tailored for specific tasks, thus lacking generalizability. Recently, large pre-trained models, also known as FMs, have demonstrated remarkable successes in language, vision, and decision-making tasks across various domains. These models are trained on a large amount of data from multiple domains and modalities. Once trained, they can accomplish versatile tasks with just minor fine-tuning and minimal task-specific labeled data. Despite their proven effectiveness and huge potential, there has been little exploration of applying FMs to agriculture AI. Thus, this study aims to explore the potential of FMs in the field of smart agriculture. In particular, conceptual tools and technical background are presented to help the understanding of the problem space and uncover new research directions. To this end, recent FMs in the general CS domain are reviewed, and the models are categorized into four categories: language FMs, vision FMs, multimodal FMs, and reinforcement learning FMs. Then, the steps of developing agriculture FMs (AFMs) are outlined and potential applications in smart agriculture are discussed. Moreover, challenges and risks associated with developing AFMs are discussed, including model training, validation, and deployment. In summary, the advancement of AI in agriculture is explored by introducing AFMs as a promising paradigm that can significantly mitigate the reliance on extensive labeled datasets and enhance the efficiency, effectiveness, and generalization of agricultural AI systems.

연구 동기 및 목표

• 스마트 농업에서 전통적인 지도 기반 머신러닝/딥러닝 모델이 요구하는 광범위한 레이블 데이터셋으로 인한 높은 비용과 제한된 일반화 능력을 해결하기 위해.
• 다른 분야에서는 성공을 거둔 기초 모델(FMs)이 농업 분야에 적용되지 못한 격차를 규명하기 위해.
• 다양한 모odal 간에서 농업 기초 모델(AFMs)을 개발하기 위한 개념적 및 기술적 프레임워크를 제안하기 위해.
• 기초 모델의 잠재력을 활용해 스마트 농업 응용 분야에서 효율성, 확장성, 적응 가능성 향상을 이끌어내기 위해.
• 특히 계산 자원 요구량과 추론 속도 측면에서 고려해야 할 훈련, 검증, 실세계 구현 과제를 요약하기 위해.

제안 방법

• 기초 모델의 능력과 아키텍처에 따라 언어 기초 모델, 시각 기초 모델, 다중모달 기초 모델, 강화학습 기초 모델의 네 가지 유형으로 분류하기.
• 일반 도메인(예: ImageNet, COCO, CLIP)에서 미리 훈련된 모델을 프ine-tuning 및 프롬프트 엔지니어링을 통해 농업 작업에 적응시키기.
• 전이 학습 및 소수의 샘플에 기반한 적응 기법을 적용해 농업 분야의 작업 전용 레이블 데이터 필요도 최소화하기.
• 자르기, 양자화(예: 4비트 및 3비트), 경량 아키텍처 설계(예: MobileSAM)와 같은 모델 압축 기법을 활용해 모델 크기를 줄이고 추론 속도 향상시키기.
• 현장 조건에서의 장치 내 배포를 가능하게 하기 위해 엣지 컴퓨팅 및 하드웨어 최적화된 추론 프레임워크(예: MLC LLM, FQ-ViT) 통합하기.
• 검색 기반 생성(RAG) 및 프롬프트 튜닝을 활용해 농업 의사결정에서의 추론 능력과 제로샷 일반화 능력 향상시키기.

실험 결과

연구 질문

• RQ1 기초 모델은 어떻게 농업 응용 분야에서 대규모 작업 전용 레이블 데이터셋에 대한 의존도를 줄이기 위해 적응시킬 수 있는가?
• RQ2 실세계 농업 환경에서 기초 모델을 훈련, 검증, 구현할 때 발생하는 주요 기술적 및 운영 과제는 무엇인가?
• RQ3 기초 모델은 식물 병해 감지, 잡초 식별, 가축 모니터링 등의 다양한 농업 작업 간 얼마나 일반화될 수 있는가?
• RQ4 양자화 및 모델 압축 기법은 엣지에 배포된 농업 시스템에서 기초 모델의 성능과 추론 속도에 어떤 영향을 미치는가?
• RQ5 다중모달 및 강화학습 기반 기초 모델은 정밀 농업 및 농업 로봇 분야의 발전에 어떤 역할을 할 수 있는가?

주요 결과

• 기초 모델은 농업 분야에서 강력한 제로샷 및 소수의 샘플 기반 일반화 능력을 보이며, 분포 변화 상황에서 성능 저하가 2%에서 40% 사이로 나타나며, 작업 및 데이터 이질성의 정도에 따라 달라진다.
• FQ-ViT와 같은 양자화된 비전 트랜스포머는 4비트 양자화로 거의 손실 없는 정확도(≈1% 성능 저하)를 달성해 장치 내 추론을 효율적으로 가능하게 한다.
• SqueezeLLM는 3비트 양자화를 통해 최대 2.3배의 속도 향상과 2.1배의 퍼플렉서티 갭 감소를 달성하며 성능을 희생시키지 않고도 효율성을 향상시킨다.
• MobileSAM은 원본 Segment Anything Model보다 60배 이상 작지만 동일한 분할 정확도를 유지하여 모바일 배포가 가능하다.
• 엣지 컴퓨팅 및 하드웨어 최적화된 프레임워크인 MLC LLM은 다양한 하드웨어에서 언어 모델의 네이티브 배포를 가능하게 하여 현장 응용에서 추론 속도를 가속화한다.
• 제안된 AFM 프레임워크는 스마트 작물 관리, 식물 육성, 가축 농업, 수산업, 로봇 공학 등 다양한 응용 분야에 유연하게 적용 가능하며, 확장성과 적응 가능성 향상에 크게 기여한다.