[论文解读] Donut: Document Understanding Transformer without OCR

Geewook Kim, Teakgyu Hong+7 more|arXiv (Cornell University)|Nov 30, 2021

Handwritten Text Recognition Techniques参考文献 55被引用 15

一句话总结

本文提出 Donut，一种用于文档理解的视觉-语言 Transformer 模型，完全绕过 OCR，通过合成文档图像生成器进行预训练。端到端模型在公共和工业基准测试中达到最先进性能，消除了 OCR 相关的计算成本和误差传播。

ABSTRACT

Understanding document images (e.g., invoices) has been an important research topic and has many applications in document processing automation. Through the latest advances in deep learning-based Optical Character Recognition (OCR), current Visual Document Understanding (VDU) systems have come to be designed based on OCR. Although such OCR-based approach promise reasonable performance, they suffer from critical problems induced by the OCR, e.g., (1) expensive computational costs and (2) performance degradation due to the OCR error propagation. In this paper, we propose a novel VDU model that is end-to-end trainable without underpinning OCR framework. To this end, we propose a new task and a synthetic document image generator to pre-train the model to mitigate the dependencies on large-scale real document images. Our approach achieves state-of-the-art performance on various document understanding tasks in public benchmark datasets and private industrial service datasets. Through extensive experiments and analysis, we demonstrate the effectiveness of the proposed model especially with consideration for a real-world application.

研究动机与目标

• 解决基于 OCR 的视觉文档理解（VDU）系统固有的高计算成本和误差传播问题。
• 通过引入合成文档图像生成器用于预训练，减少对大规模真实文档数据集的依赖。
• 开发一种可端到端训练的 VDU 模型，直接在文档图像上运行，无需 OCR 流程。
• 在公共基准和私有工业数据集上均实现最先进性能。
• 在真实世界文档处理应用中展示实际有效性。

提出的方法

• 提出一种新颖的文档图像到文本生成任务用于预训练，使模型在无需 OCR 的情况下学习文档结构和语义。
• 设计一种合成文档图像生成器，用于生成多样化且逼真的训练数据，以预训练视觉-语言模型。
• 在合成和真实文档图像上端到端训练视觉-语言 Transformer，直接将图像映射到结构化文本输出。
• 利用合成数据上的自监督预训练，减少对昂贵的真实世界标注文档数据集的依赖。
• 采用基于 Transformer 的架构，以自回归方式联合编码视觉特征并生成对应文本标记。
• 使用有限的真实世界标注数据在下游文档理解任务上微调模型。

实验结果

研究问题

• RQ1 视觉-语言 Transformer 是否能在不依赖 OCR 的情况下实现高性能的文档理解？
• RQ2 在真实世界部署中，合成数据生成在预训练文档理解模型方面有多有效？
• RQ3 消除 OCR 是否能降低文档理解系统的计算成本和误差传播？
• RQ4 所提出的模型在公共和私有基准上与基于 OCR 的基线模型相比表现如何？
• RQ5 该模型在真实世界工业文档处理场景中的泛化能力有多强？

主要发现

• Donut 在多个公共文档理解基准上实现了最先进性能，且无需使用 OCR。
• 通过消除 OCR 流程，模型显著降低了计算成本，而 OCR 流程是传统 VDU 系统的主要瓶颈。
• 完全避免了 OCR 导致的误差传播，从而在低质量或复杂文档图像中实现了更鲁棒的预测。
• 合成数据预训练策略即使在真实世界标注数据有限的情况下也能实现强大性能。
• 模型在私有工业数据集上表现出强泛化能力，证实了其实际适用性。
• 大量消融实验验证了合成数据生成和端到端训练范式的有效性。