[论文解读] AgriLLM: Harnessing Transformers for Farmer Queries

Krish Didwania, Pratinav Seth+2 more|arXiv (Cornell University)|Jun 21, 2024

Smart Agriculture and AI被引用 4

一句话总结

本文提出 AgriLLM，一种使用 flan-t5-base 微调的序列到序列语言模型，旨在从印度基桑呼叫中心数据集中自动产生上下文相关、自然语言风格的农民查询响应。该模型在 400 万条查询的印度农业数据集上实现了最先进性能，BLEU 得分为 0.555，ROUGE 得分为 0.724，展现出在不同作物领域、季节和查询类型上的强大泛化能力，为减轻呼叫中心负担并提升农业信息可及性提供了可扩展的解决方案。

ABSTRACT

Agriculture, vital for global sustenance, necessitates innovative solutions due to a lack of organized domain experts, particularly in developing countries where many farmers are impoverished and cannot afford expert consulting. Initiatives like Farmers Helpline play a crucial role in such countries, yet challenges such as high operational costs persist. Automating query resolution can alleviate the burden on traditional call centers, providing farmers with immediate and contextually relevant information. The integration of Agriculture and Artificial Intelligence (AI) offers a transformative opportunity to empower farmers and bridge information gaps. Language models like transformers, the rising stars of AI, possess remarkable language understanding capabilities, making them ideal for addressing information gaps in agriculture. This work explores and demonstrates the transformative potential of Large Language Models (LLMs) in automating query resolution for agricultural farmers, leveraging their expertise in deciphering natural language and understanding context. Using a subset of a vast dataset of real-world farmer queries collected in India, our study focuses on approximately 4 million queries from the state of Tamil Nadu, spanning various sectors, seasonal crops, and query types.

研究动机与目标

• 为解决发展中国家农民，特别是印度农民，在获取农业专业知识方面存在的关键缺口，因为专家咨询成本高且资源有限。
• 利用大型语言模型（LLMs）自动化农民查询的解决，减少对传统呼叫中心的依赖，降低运营成本。
• 评估 T5 和 BART 等序列到序列模型在生成针对农业查询的高质量、自然语言响应方面的有效性。
• 确保模型在真实农民互动中对不同查询类型、作物领域和季节变化的鲁棒性。
• 通过 NLP 驱动的自动化，实现可扩展、低成本且上下文准确的信息传递，惠及农民。

提出的方法

• 本研究使用了从印度基桑呼叫中心（KCC）收集的泰米尔纳德邦 400 万条真实农民查询的精选子集，每条查询均配有专家验证的响应。
• 对数据集进行了广泛的预处理，以清理和标准化数据，去除噪声并统一查询格式。
• 在数据集上对多种序列到序列模型（包括 flan-t5-base、bart-base、pegasus-xsum 和 mt5-small）使用标准 NLP 训练流程进行了微调。
• 使用标准 NLP 指标（BLEU、ROUGE、精确率、召回率和 F1 分数）评估模型性能，并在不同查询类型、季节和作物领域进行了消融研究。
• 由于 flan-t5-base 在多样化元数据分布下的整体表现最优，因此被选为最佳架构。
• 开展了消融研究，以评估模型在不同查询类别（如肥料使用、营养管理、政府政策）中的表现一致性与鲁棒性。

实验结果

研究问题

• RQ1 微调后的序列到序列 LLM 是否能为印度农业领域的真实农民查询生成高质量、上下文准确的响应？
• RQ2 在农业查询生成任务中，不同编码器-解码器架构（如 T5、BART、PEGASUS）的性能如何比较？
• RQ3 该模型在作物领域、季节和查询类型等不同元数据类别中是否保持一致的性能表现？
• RQ4 LLM 能在多大程度上通过自动化查询解决减轻传统农民热线的负担？
• RQ5 该模型能否生成在语言上恰当且对发展中国家广大农村受众可访问的响应？

主要发现

• flan-t5-base 模型在整体性能上表现最佳，BLEU 得分为 0.555，ROUGE 得分为 0.724，优于 bart-base 和 pegasus-xsum 等其他模型。
• 该模型在所有元数据类别中均表现出强大的鲁棒性，在农业、园艺等领域的 F1 分数均高于 0.83，且在 Rabi、Kharif 和 Jayad 等季节中表现稳定。
• 与肥料使用和营养管理相关的查询类型表现最佳，F1 分数达 0.861，BLEU 得分为 0.628，表明其在农业技术领域的强大能力。
• 模型在不同作物领域和季节中保持一致的性能，指标仅有轻微波动，表明其具备出色的泛化能力和可靠性。
• 消融研究证实，模型在多样化查询类型中的表现稳定可靠，政府政策类查询的最低 F1 分数为 0.767，仍在可接受范围内。
• 本研究证实，微调后的序列到序列模型可有效实现农业查询的自动化处理，为传统呼叫中心提供一种可扩展、低成本的替代方案。