[論文レビュー] Agri-LLaVA: Knowledge-Infused Large Multimodal Assistant on Agricultural Pests and Diseases

Liqiong Wang, Tingxiang Jin+4 more|arXiv (Cornell University)|Dec 3, 2024

Smart Agriculture and AIAgricultural and Biological Sciences被引用数 3

ひとこと要約

Agri-LLaVA は、独自に構築した 391,785 パaired のインstructフォローデータセットと二段階のトレーニングプロセス（視覚的特徴の整合化とマルチモーダルインstructチューニング）を活用して、農業分野の害獣・病害虫認識に最適化された知識統合型大規模マルチモーダルモデルである。新規に構築した農業分野の VQA ベンチマークにおいて、最先端の性能を達成し、包括的推論タスクで一般ドメイン LMM より最大 4.87% の優位性を示した。

ABSTRACT

In the general domain, large multimodal models (LMMs) have achieved significant advancements, yet challenges persist in applying them to specific fields, especially agriculture. As the backbone of the global economy, agriculture confronts numerous challenges, with pests and diseases being particularly concerning due to their complexity, variability, rapid spread, and high resistance. This paper specifically addresses these issues. We construct the first multimodal instruction-following dataset in the agricultural domain, covering over 221 types of pests and diseases with approximately 400,000 data entries. This dataset aims to explore and address the unique challenges in pest and disease control. Based on this dataset, we propose a knowledge-infused training method to develop Agri-LLaVA, an agricultural multimodal conversation system. To accelerate progress in this field and inspire more researchers to engage, we design a diverse and challenging evaluation benchmark for agricultural pests and diseases. Experimental results demonstrate that Agri-LLaVA excels in agricultural multimodal conversation and visual understanding, providing new insights and approaches to address agricultural pests and diseases. By open-sourcing our dataset and model, we aim to promote research and development in LMMs within the agricultural domain and make significant contributions to tackle the challenges of agricultural pests and diseases. All resources can be found at https://github.com/Kki2Eve/Agri-LLaVA.

研究の動機と目的

• 農業分野の特化型マルチモーダルデータセットおよびファインチューニング済みモデルの不足に対処すること。
• データ不足、データ品質の低さ、専門分野の知識の必要性といった農業分野の LMM が直面する課題を克服すること。
• 害獣・病害虫に関する正確な視覚的理解と文脈に即した会話が可能なマルチモーダルアシスタントの開発。
• 農業分野の VQA およびマルチモーダルインストラクションフォローアップを評価する包括的ベンチマークの確立。
• データセット、モデル、ベンチマークの公開を通じて、農業分野の AI 分野におけるオープンリサーチを促進すること。

提案手法

• 公開データセット、コンペティション、専門家知識を活用して、221 種類の害獣・病害虫をカバーする 391,785 パaires の画像・テキストペアで構成される大規模なインstructフォローデータセットを構築。
• 二段階のトレーニング手法を設計：第一段階では画像・テキストペアを用いた視覚的特徴の整合化；第二段階では農業分野の会話データを用いたエンドツーエンドのインstructチューニング。
• 両トレーニング段階に農業分野の専門的知識を統合し、正確性を向上させ、幻覚を低減。
• 症状、原因、対策、命名法の 9 つのテーマにわたる質問タイプを含む、新規のマルチモーダルベンチマーク「Agri-LLaVA-VQA-Bench」を導入。
• 多様なインストラクションフォーマットを用いた教師ありファインチューニングを適用し、未学習の農業分野のクエリに対するゼロショット一般化および推論能力を強化。
• 研究の加速を目的として、データセット、モデル重み、評価ベンチマークをオープンソース化。

実験結果

リサーチクエスチョン

• RQ1 ドメイン特化型インストラクションデータを用いて、大規模マルチモーダルモデルを農業分野の害獣・病害虫認識に効果的にファインチューニングできるか？
• RQ2 トレーニング段階での知識統合が、農業分野の視覚的理解における推論力および事実の正確性にどのように影響するか？
• RQ3 高品質でドメイン特化型のインストラクションフォローデータは、一般ドメイン LMM と比較して農業分野の VQA における性能をどの程度向上させるか？
• RQ4 統合されたマルチモーダルベンチマークは、農業分野における視覚的質問応答と会話的推論の両方を効果的に評価できるか？
• RQ5 データ量とインストラクションの多様性は、農業分野のマルチモーダルタスクにおける下流性能にどのような影響を及けるか？

主な発見

• Agri-LLaVA はクローズドセット VQA 問題で平均 55.66% の正確度、オープンセット問題で 27.34% を達成し、包括的推論能力において LLaVA より 4.87% の優位性を示した。
• 第 1 段階のデータでのみトレーニングされたモデルは、第 2 段階でファインチューニングされたモデルに比べて顕著に視覚的推論能力が劣っており、インストラクションチューニングの重要性が示された。
• 第 2 段階のインストラクションフォローデータ量が増えるにつれて性能が一貫して向上し、高品質な会話データの重要性が裏付けられた。
• 6,000 個のインストラクションサンプルを用いた Agri-LLaVA のバリエーションは、クローズドセットで 60.05% の正確度、オープンセットで 30.77% の F1 スコアを達成し、一般ドメインモデルを上回った。
• データ量が増えるにつれて Agri-LLaVA と LLaVA の性能差が縮小したため、ドメイン特化型データがゼロショット能力のギャップを埋められることを示した。
• 提案された Agri-LLaVA-VQA-Bench ベンチマークは、農業分野の視覚的推論の複雑さを効果的に捉えており、信頼性の高い評価フレームワークを提供している。