[论文解读] ERNIE-Layout: Layout Knowledge Enhanced Pre-training for Visually-rich Document Understanding

Qiming Peng, Yinxu Pan+13 more|arXiv (Cornell University)|Oct 12, 2022

Handwritten Text Recognition Techniques被引用 6

一句话总结

ERNIE-Layout 提出了一种布局知识增强的预训练框架，用于视觉丰富的文档理解，整合了阅读顺序序列化、空间感知的解耦自注意力机制以及新颖的预训练任务（阅读顺序预测与替换区域预测）。通过系统性地将布局作为第一类模态，而不仅限于位置编码，该方法在关键信息抽取、文档问答和文档分类基准上实现了最先进性能。

ABSTRACT

Recent years have witnessed the rise and success of pre-training techniques in visually-rich document understanding. However, most existing methods lack the systematic mining and utilization of layout-centered knowledge, leading to sub-optimal performances. In this paper, we propose ERNIE-Layout, a novel document pre-training solution with layout knowledge enhancement in the whole workflow, to learn better representations that combine the features from text, layout, and image. Specifically, we first rearrange input sequences in the serialization stage, and then present a correlative pre-training task, reading order prediction, to learn the proper reading order of documents. To improve the layout awareness of the model, we integrate a spatial-aware disentangled attention into the multi-modal transformer and a replaced regions prediction task into the pre-training phase. Experimental results show that ERNIE-Layout achieves superior performance on various downstream tasks, setting new state-of-the-art on key information extraction, document image classification, and document question answering datasets. The code and models are publicly available at http://github.com/PaddlePaddle/PaddleNLP/tree/develop/model_zoo/ernie-layout.

研究动机与目标

• 为解决因布局知识利用不足而导致的视觉丰富文档理解性能不佳问题。
• 通过基于文档解析的布局感知序列化替代栅格扫描顺序，提升模型泛化能力。
• 通过新颖的空间感知解耦自注意力机制，增强文本、视觉与布局之间的跨模态交互。
• 引入新型预训练任务——阅读顺序预测与替换区域预测，显式建模布局语义。
• 在多样化的下游文档理解任务中实现最先进性能。

提出的方法

• 引入基于布局的文档解析器，根据类人阅读顺序对输入标记进行序列化，替代标准的栅格扫描顺序。
• 采用空间感知的解耦自注意力机制，分离内容表示与相对位置表示，以提升布局感知的注意力计算。
• 提出阅读顺序预测（ROP）任务，用于预测序列化序列中的下一个标记，以促进对文档顺序与结构知识的学习。
• 引入替换区域预测（RRP）任务，以学习文本、布局与视觉特征之间的细粒度跨模态对齐。
• 在统一的多模态预训练目标中结合标准的掩码视觉-语言建模任务与图文对齐任务。
• 使用布局嵌入与位置嵌入作为输入特征，布局感知注意力机制实现更丰富的空间上下文建模。

实验结果

研究问题

• RQ1 用布局感知序列化替代栅格扫描顺序，能否提升下游文档理解性能？
• RQ2 通过空间感知解耦自注意力机制将布局作为第一类模态进行整合，是否能增强模型性能？
• RQ3 像阅读顺序预测与替换区域预测这样的新型预训练任务，在多大程度上促进了布局感知表征学习？
• RQ4 在序列化、注意力机制与预训练任务中整合布局知识，如何影响在多样化文档理解任务上的性能表现？
• RQ5 布局增强的预训练能否在关键信息抽取、文档问答与文档分类基准上实现最先进结果？

主要发现

• ERNIE-Layout 在 FUNSD 数据集上实现了最先进性能，F1 得分为 0.9171，优于先前方法。
• 在 CORD 数据集上，ERNIE-Layout 达到 F1 得分为 0.9678，展现出在复杂文档布局上的强大泛化能力。
• 在 DocVQA 的文档问答任务中，ERNIE-Layout 通过集成推理在排行榜上取得最高 ANLS 得分，显著优于先前模型。
• 在 RVL-CDIP 文档图像分类基准上，ERNIE-Layout 创造了新的最先进准确率，表明其具备强大的整体文档理解能力。
• 消融实验表明，阅读顺序预测（ROP）在 FUNSD 上带来 1.3% 的 F1 分数提升，而空间感知解耦注意力机制进一步提升了性能。
• 使用布局感知序列化（通过文档解析器实现）即使在无解耦注意力的情况下也提升了性能，证明其独立有效性。