[论文解读] ANLS* -- A Universal Document Processing Metric for Generative Large Language Models

David Peer, Philemon Schöpf+3 more|arXiv (Cornell University)|Feb 6, 2024

Natural Language Processing Techniques被引用 4

一句话总结

本文提出 ANLS*，一种用于生成式大语言模型（GLLMs）在文档处理任务中的通用评估指标，将 ANLS 指标扩展至支持字典和列表等结构化输出，同时保持向后兼容性。ANLS* 可在信息抽取和分类等多样化任务中实现一致的评估，通过一种新型提示工程技术（SFT）实现优越性能，在21项测试中的15项中超越现有方法，最高提升达15个百分点。

ABSTRACT

Traditionally, discriminative models have been the predominant choice for tasks like document classification and information extraction. These models make predictions that fall into a limited number of predefined classes, facilitating a binary true or false evaluation and enabling the direct calculation of metrics such as the F1 score. However, recent advancements in generative large language models (GLLMs) have prompted a shift in the field due to their enhanced zero-shot capabilities, which eliminate the need for a downstream dataset and computationally expensive fine-tuning. However, evaluating GLLMs presents a challenge as the binary true or false evaluation used for discriminative models is not applicable to the predictions made by GLLMs. This paper introduces a new metric for generative models called ANLS* for evaluating a wide variety of tasks, including information extraction and classification tasks. The ANLS* metric extends existing ANLS metrics as a drop-in-replacement and is still compatible with previously reported ANLS scores. An evaluation of 7 different datasets, and more than 20 different GLLMs together with 3 different prompting methods using the ANLS* metric is also provided, demonstrating the importance of the proposed metric. We also benchmark a novel approach to generate prompts for documents, called SFT, against other prompting techniques such as LATIN. In almost all cases, SFT outperforms other techniques and improves the state-of-the-art, sometimes by as much as $10$ percentage points. Sources are available at https://github.com/deepopinion/anls_star_metric

研究动机与目标

• 为解决生成式 LLM 在文档处理任务中缺乏统一评估指标的问题，特别是针对结构化和复杂输出。
• 将现有 ANLS 指标扩展以支持字典、列表及信息抽取中常见的混合类型输出。
• 通过单一一致的指标，实现判别式模型与生成式模型之间的直接比较。
• 评估先进提示策略（如 SFT）相较于传统方法（如 LATIN）的有效性。
• 提供一个公开可访问的基准，涵盖7个数据集和4种 GLLM，使用 ANLS* 实现可复现的结果。

提出的方法

• ANLS* 通过递归比较嵌套结构（如字典、列表）来扩展基于 Levenshtein 的相似度计算，每一层均使用归一化字符串相似度。
• 采用递归归一化策略，在复杂输出对象中对所有可比较元素计算相似度，同时保留语义结构。
• 该指标保持与 ANLS 的向后兼容性，确保在使用 ANLS* 时，先前报告的 ANLS 分数保持不变。
• 作者以模块化方式实现 ANLS*，使其可作为 ANLS 在现有评估流程中的即插即用替代品。
• 他们提出一种新型提示技术——SFT（结构化微调提示），通过生成与任务相关的结构化提示，提升 GLLM 输出与真实标签的一致性。
• 评估在7个多样化的文档处理数据集上进行，使用4种 GLLM，ANLS* 用于衡量分类、问答和信息抽取任务的性能。

(a) Ground truth.

实验结果

研究问题

• RQ1 ANLS* 是否可作为生成式 LLM 在多样化文档处理任务中的通用评估指标，包括结构化和非结构化输出？
• RQ2 在复杂输出类型上，ANLS* 与原始 ANLS 指标在兼容性和性能方面表现如何？
• RQ3 所提出的 SFT 提示技术是否显著优于现有提示策略（如 LATIN），在生成准确、结构化输出方面表现更优？
• RQ4 在真实世界文档数据集上，不同 GLLM 在 ANLS* 评估下的性能差异有多大？
• RQ5 ANLS* 是否能通过单一评估框架实现判别式模型与生成式模型之间的公平且直接的比较？

主要发现

• 在21项评估案例中，SFT 在15项中优于 LATIN 提示技术，尤其在 DocVQA 数据集上最高提升达15个百分点。
• GPT-3.5-turbo-16k 在 DocVQA 和 SROIE 两个数据集上优于 GPT-4-turbo，表明模型版本和提示工程在性能中起关键作用。
• Gemini-Pro 在某些任务上表现出显著性能下降，与 GPT 模型相比最高下降60.5个百分点，可能归因于安全过滤机制。
• Mistral-large 在文档处理任务中表现欠佳，尤其在依赖布局的任务上，表明其在处理二维文档结构方面存在局限性。
• ANLS* 有效评估了包括嵌套字典和列表在内的复杂输出，证明其在简单字符串匹配之外的广泛适用性。
• 作者确认 ANLS* 与 ANLS 完全向后兼容，确保与以往基准工作的一致性。

(b) Prediction with $\text{ANLS*}=1.0$ .