[论文解读] Embedding-based Retrieval with LLM for Effective Agriculture Information Extracting from Unstructured Data

Ruoling Peng, Kang Liu+3 more|arXiv (Cornell University)|Aug 6, 2023

Smart Agriculture and AI被引用 22

一句话总结

论文提出 FINDER，一种将嵌入式检索和通用大语言模型相结合的管道，在不进行领域特定训练的情况下从非结构化文档中提取结构化农业信息，并在害虫数据上使用零-shot提示进行评估。

ABSTRACT

Pest identification is a crucial aspect of pest control in agriculture. However, most farmers are not capable of accurately identifying pests in the field, and there is a limited number of structured data sources available for rapid querying. In this work, we explored using domain-agnostic general pre-trained large language model(LLM) to extract structured data from agricultural documents with minimal or no human intervention. We propose a methodology that involves text retrieval and filtering using embedding-based retrieval, followed by LLM question-answering to automatically extract entities and attributes from the documents, and transform them into structured data. In comparison to existing methods, our approach achieves consistently better accuracy in the benchmark while maintaining efficiency.

研究动机与目标

• 减少对农业信息提取中领域特定带标签数据的依赖。
• 将非结构化的农事文本转换为结构化的 JSON 实体与属性。
• 评估结合嵌入式检索与基于 LLM 的提取与绑定的管道。
• 展示通用 LLM 在农业 IE 任务上的零-shot 性能。

提出的方法

• 将文档拆分为较小的片段，以便在向量数据库中进行嵌入检索。
• 使用基于 kNN 的检索并采用中位距离筛选策略来选择相关文本片段。
• 阶段 1：对文本进行摄取，并让 LLM 识别描述实体的描述性词。
• 阶段 2：通过 LLM 提示与聚合将描述性词转化为属性类型，以减小不一致性。
• 阶段 3：使用 LLM 执行命名实体识别，识别上下文中的感兴趣实体（物理对象）。
• 阶段 4：重用 EBR 收集句子，并让 LLM 将实体绑定到属性，输出每个实体的 JSON。

实验结果

研究问题

• RQ1 通用预训练的 LLM 在无需领域特定训练的情况下，是否能够从非结构化文档中提取结构化的农业信息？
• RQ2 基于嵌入的检索是否提高了 LLM 用于信息提取的文本片段的相关性？
• RQ3 在零-shot 条件下，多阶段基于 LLM 的提取管道的准确性如何，且“可接受”的答案概念如何影响报告的指标？

主要发现

• 零-shot 的基于 LLM 的提取在阶段 3 达到了较高的实体提取准确性。
• 允许“可接受”的答案可以显著提高精确度和召回率（在某些情况下高达 13 个百分点）。
• 阶段 2 的属性与阶段 4 的绑定在用人工判断和可接受答案标准评估时表现出强劲的性能。
• 整个管道输出包含实体、属性及描述的 JSON，适用于农业领域的结构化数据使用。
• EXIT 管道在所测试材料中显示出相对于基线预期的稳定准确性提升。