[논문 리뷰] Agri-LLaVA: Knowledge-Infused Large Multimodal Assistant on Agricultural Pests and Diseases

Liqiong Wang, Tingxiang Jin외 4명|arXiv (Cornell University)|2024. 12. 03.

Smart Agriculture and AIAgricultural and Biological Sciences인용 수 3

한 줄 요약

Agri-LLaVA는 농업 해충 및 병해충 인식을 위해 최적화된 지식 통합형 대규모 다중모态 모델로, 새로운 391,785건의 지시 수행 데이터셋과 이중 단계 트레이닝 프로세스(시각적 특징 정렬 및 다중모달 지시 튜닝)를 활용한다. 이 모델은 새로운 농업 VQA 벤치마크에서 최신 기술 수준의 성능을 달성하여 종합적 추론 과제에서 일반 도메인 LMM보다 최대 4.87% 높은 성능을 보였다.

ABSTRACT

In the general domain, large multimodal models (LMMs) have achieved significant advancements, yet challenges persist in applying them to specific fields, especially agriculture. As the backbone of the global economy, agriculture confronts numerous challenges, with pests and diseases being particularly concerning due to their complexity, variability, rapid spread, and high resistance. This paper specifically addresses these issues. We construct the first multimodal instruction-following dataset in the agricultural domain, covering over 221 types of pests and diseases with approximately 400,000 data entries. This dataset aims to explore and address the unique challenges in pest and disease control. Based on this dataset, we propose a knowledge-infused training method to develop Agri-LLaVA, an agricultural multimodal conversation system. To accelerate progress in this field and inspire more researchers to engage, we design a diverse and challenging evaluation benchmark for agricultural pests and diseases. Experimental results demonstrate that Agri-LLaVA excels in agricultural multimodal conversation and visual understanding, providing new insights and approaches to address agricultural pests and diseases. By open-sourcing our dataset and model, we aim to promote research and development in LMMs within the agricultural domain and make significant contributions to tackle the challenges of agricultural pests and diseases. All resources can be found at https://github.com/Kki2Eve/Agri-LLaVA.

연구 동기 및 목표

• 농업 해충 및 병해충 인식을 위한 도메인 특화 다중모달 데이터셋과 미세조정된 모델의 부족을 해결하기 위해.
• 데이터 부족, 낮은 데이터 품질, 전문 도메인 지식이 필요한 점과 같은 농업 LMM의 과제를 극복하기 위해.
• 정확한 시각적 이해와 병해충에 대한 맥락 기반 대화를 수행할 수 있는 다중모달 어시스턴트 개발을 위해.
• 농업 VQA 및 다중모달 지시 수행을 위한 종합적 평가 벤치마크를 구축하기 위해.
• 데이터셋, 모델, 벤치마크를 공개하여 农업 AI 분야의 개방형 연구를 촉진하기 위해.

제안 방법

• 공개 데이터셋, 경연 대회 및 전문가 지식을 활용해 221종의 해충 및 병해충 유형을 포함한 391,785개의 이미지-텍스트 쌍으로 구성된 대규모 지시 수행 데이터셋을 구축하였다.
• 이중 단계 트레이닝 방법을 설계: 첫 번째 단계는 이미지-텍스트 쌍을 이용한 시각적 특징 정렬; 두 번째 단계는 농업 대화 데이터에 대한 종단간 지시 튜닝.
• 모든 트레이닝 단계에 전문 농업 지식을 통합하여 정확도를 향상시키고 환각 현상을 줄였다.
• 증상, 원인, 방제, 명칭을 포함한 9개의 주제별 질문 유형을 갖춘 새로운 다중모달 벤치마크인 Agri-LLaVA-VQA-Bench를 도입하였다.
• 다양한 지시 형식을 활용한 지도 기반 미세조정을 적용하여 미사용 농업 쿼리에 대한 제로샷 일반화 및 추론 능력을 향상시켰다.
• 연구를 가속화하기 위해 데이터셋, 모델 가중치, 평가 벤치마크를 오픈소스로 공개하였다.

실험 결과

연구 질문

• RQ1 도메인 특화 지시 데이터를 활용해 대규모 다중모달 모델을 효과적으로 농업 해충 및 병해충 인식에 맞게 미세조정할 수 있는가?
• RQ2 트레이닝 중 지식 통합이 농업 시각 이해에서 모델의 추론 능력과 사실적 정확도에 어떤 영향을 미치는가?
• RQ3 고품질의 도메인 특화 지시 수행 데이터는 일반 도메인 LMM에 비해 농업 VQA 성능을 얼마나 향상시키는가?
• RQ4 통합된 다중모달 벤치마크는 농업 분야의 시각 질문 응답과 대화 기반 추론을 효과적으로 평가할 수 있는가?
• RQ5 데이터 양과 지시 다양성이 농업 다중모달 작업의 최종 성능에 어떤 영향을 미치는가?

주요 결과

• Agri-LLaVA는 폐쇄형 VQA 질문에서 평균 정확도 55.66%를 기록했으며, 개방형 질문에서는 27.34%를 기록했고, 종합적 추론 능력에서 LLaVA보다 최대 4.87% 높은 성능을 보였다.
• 단계-1 데이터만으로 트레이닝한 모델는 단계-2에서 미세조정된 모델에 비해 시각적 추론 능력이著しく 열등했으며, 이는 지시 튜닝의 중요성을 시사한다.
• 단계-2 지시 수행 데이터가 증가할수록 성능이 지속적으로 향상되어 고품질 대화 데이터의 핵심적 역할을 입증하였다.
• 6,000개의 지시 샘플을 가진 Agri-LLaVA 변종은 폐쇄형 정확도 60.05%와 개방형 F1 점수 30.77%를 기록하여 일반 도메인 모델를 초월했다.
• 데이터 양이 증가함에 따라 Agri-LLaVA와 LLaVA 간 성능 격차가 좁혀지며, 도메인 특화 데이터가 제로샷 능력 격차를 메울 수 있음을 시사했다.
• 제안된 Agri-LLaVA-VQA-Bench 벤치마크는 농업 시각 추론의 복잡성을 효과적으로 반영하며 신뢰할 수 있는 평가 프레임워크를 제공한다.