[论文解读] Document AI: Benchmarks, Models and Applications

Lei Cui, Yiheng Xu+2 more|arXiv (Cornell University)|Nov 16, 2021

Handwritten Text Recognition Techniques参考文献 101被引用 34

一句话总结

本文综述了文档AI，回顾了任务、基准数据集、代表性模型和预训练方法，重点关注多模态布局和视觉信息，并讨论未来的发展方向。

ABSTRACT

Document AI, or Document Intelligence, is a relatively new research topic that refers to the techniques for automatically reading, understanding, and analyzing business documents. It is an important research direction for natural language processing and computer vision. In recent years, the popularity of deep learning technology has greatly advanced the development of Document AI, such as document layout analysis, visual information extraction, document visual question answering, document image classification, etc. This paper briefly reviews some of the representative models, tasks, and benchmark datasets. Furthermore, we also introduce early-stage heuristic rule-based document analysis, statistical machine learning algorithms, and deep learning approaches especially pre-training methods. Finally, we look into future directions for Document AI research.

研究动机与目标

• 通过强调其在金融、医疗保健和物流等行业的重要性，激发对文档AI研究的动机。
• 总结文档AI中的代表性任务、数据集和模型家族，从启发式与传统机器学习到深度学习。
• 分析预训练和多模态信息（布局和视觉信息）在提升下游任务中的作用。
• 识别当前挑战并提出文档AI未来研究的方向。

提出的方法

• 对从基于启发式规则的方法到统计机器学习和深度学习的历史与现代方法进行分类与总结。
• 讨论用于文档布局分析、视觉信息提取和文档VQA的任务特定模型。
• 介绍将二维布局和图像特征与文本整合在一起的通用多模态预训练体系结构（如 LayoutLM）。
• 描述自监督预训练任务（掩码视觉-语言建模）以及用于预训练的可选多标签文档分类损失。
• 总结关键基准数据集及其在推动文档理解任务中的作用。

实验结果

研究问题

• RQ1 今天定义文档AI的主要任务与基准是什么？
• RQ2 从启发式和传统机器学习到深度学习和多模态预训练，文档AI中的模型如何演变？
• RQ3 在将文档AI应用于现实世界的长篇且多样化文档时，当前面临哪些挑战？
• RQ4 像 LayoutLM 这样的多模态预训练方法如何改善下游的文档AI任务？
• RQ5 哪些数据集推动了进展，作者识别了哪些未来方向？

主要发现

• 文档AI任务包括布局分析、视觉信息提取、文档VQA和图像分类，得到日益增长的基准数据集支持。
• 基于CNN的布局分析、用于视觉丰富文档的GNN，以及基于Transformer的多模态预训练（LayoutLM）显著提升下游任务的性能。
• LayoutLM在Transformer框架中将二维布局和图像嵌入与文本集成，促成对下游任务的有效知识迁移。
• 利用布局和视觉信息进行预训练在多项下游任务上带来明显提升，验证了多模态预训练方法。
• 对于长篇文档、跨页理解、扫描引起的数据质量差距，以及对多任务学习和资源高效模型的需求，仍存在挑战。