[논문 리뷰] Harnessing Large Vision and Language Models in Agriculture: A Review

Hongyan Zhu, Shuai Qin외 4명|arXiv (Cornell University)|2024. 07. 29.

Smart Agriculture and AI인용 수 5

한 줄 요약

본 리뷰는 대형 비전, 언어 및 비전-언어 모델(LVLM/MLLM)이 농업 과제에 어떻게 대응할 수 있는지—해충/질병 탐지에서 토양 및 종자 품질, 그리고 농민 의사 결정 지원에 이르는 범위를 조사한다.

ABSTRACT

Large models can play important roles in many domains. Agriculture is another key factor affecting the lives of people around the world. It provides food, fabric, and coal for humanity. However, facing many challenges such as pests and diseases, soil degradation, global warming, and food security, how to steadily increase the yield in the agricultural sector is a problem that humans still need to solve. Large models can help farmers improve production efficiency and harvest by detecting a series of agricultural production tasks such as pests and diseases, soil quality, and seed quality. It can also help farmers make wise decisions through a variety of information, such as images, text, etc. Herein, we delve into the potential applications of large models in agriculture, from large language model (LLM) and large vision model (LVM) to large vision-language models (LVLM). After gaining a deeper understanding of multimodal large language models (MLLM), it can be recognized that problems such as agricultural image processing, agricultural question answering systems, and agricultural machine automation can all be solved by large models. Large models have great potential in the field of agriculture. We outline the current applications of agricultural large models, and aims to emphasize the importance of large models in the domain of agriculture. In the end, we envisage a future in which famers use MLLM to accomplish many tasks in agriculture, which can greatly improve agricultural production efficiency and yield.

연구 동기 및 목표

• LVLM/MLLM가 농업 과제와 의사 결정에 어떻게 변화를 가져올 수 있는지 탐구한다.
• 해충/질병 탐지, 토양 및 종자 품질, 자동화 전반에 걸친 현재 및 잠재적 응용을 범주화한다.
• 농업에서 대형 모델을 배포하기 위한 도전과제, 한계 및 데이터 요건을 식별한다.
• 다중모달 농업 AI의 향후 방향과 농민에게 실질적 이익이 되는 점을 강조한다.

제안 방법

• 농업에서의 대형 언어 모델(LLMs), 대형 비전 모델(LVMs), 및 LVLM에 대한 기존 문헌을 조사한다.
• 농업 이미지 처리, 농업 질의응답 시스템, 자동화 등 영역을 분석한다.
• 농업 과제를 위한 다중모달 데이터 융합, 모델 아키텍처 및 정보 요건을 논의한다.
• 데이터, 신뢰성, 농업 맥락에서의 배치를 포함한 실용적 고려사항을 개략한다.

실험 결과

연구 질문

• RQ1 LVLM과 MLLM가 어떤 농업 과제를 다룰 수 있는가?
• RQ2 농업에서 대형 모델을 배포하는 데 있어 주요 도전과제와 한계는 무엇인가?
• RQ3 다중모달 모델이 농민의 의사 결정 및 농장 관리에 어떻게 도움을 줄 수 있는가?
• RQ4 농업에서 광범위한 채택을 실현하기 위해 필요한 미래 방향과 요건은 무엇인가?

주요 결과

• 대형 모델은 농업에서 생산 효율성과 수확량을 향상시킬 잠재력이 있다.
• LVLMs/MLLMs는 농업 이미지 처리, QA 시스템, 자동화 워크플로를 지원할 수 있다.
• 다중모달 정보(이미지, 텍스트 등)가 농민의 의사 결정 및 작업 자동화를 향상시킬 수 있다.
• 도전과제로는 도메인 적응, 데이터 가용성, 신뢰성, 실제 농업 환경에서의 배치가 포함된다.
• 향후 연구는 농민 대상 MLLMs가 더 넓은 범위의 농업 과제를 가능하게 하는 것을 상상한다.