Skip to main content
QUICK REVIEW

[论文解读] LayoutLMv3: Pre-training for Document AI with Unified Text and Image Masking

Yupan Huang, Tengchao Lv|arXiv (Cornell University)|Apr 18, 2022
Handwritten Text Recognition TechniquesComputer Science被引用 31
一句话总结

LayoutLMv3 引入统一文本与图像掩码,配合 Word-Patch Alignment 目标,使单一多模 Transformer 能在文本为中心和图像为中心的文档AI任务中都表现出色,而无需 CNN backbone。

ABSTRACT

Self-supervised pre-training techniques have achieved remarkable progress in Document AI. Most multimodal pre-trained models use a masked language modeling objective to learn bidirectional representations on the text modality, but they differ in pre-training objectives for the image modality. This discrepancy adds difficulty to multimodal representation learning. In this paper, we propose extbf{LayoutLMv3} to pre-train multimodal Transformers for Document AI with unified text and image masking. Additionally, LayoutLMv3 is pre-trained with a word-patch alignment objective to learn cross-modal alignment by predicting whether the corresponding image patch of a text word is masked. The simple unified architecture and training objectives make LayoutLMv3 a general-purpose pre-trained model for both text-centric and image-centric Document AI tasks. Experimental results show that LayoutLMv3 achieves state-of-the-art performance not only in text-centric tasks, including form understanding, receipt understanding, and document visual question answering, but also in image-centric tasks such as document image classification and document layout analysis. The code and models are publicly available at \url{https://aka.ms/layoutlmv3}.

研究动机与目标

  • 为多模态文档AI构建一个统一的自监督预训练框架,减少对CNN或区域注释的依赖。
  • 开发跨模态对齐文本标记和图像补丁的目标(MLM、MIM、WPA)。
  • 展示单个模型在文本为中心和图像为中心的文档理解任务中的通用性。

提出的方法

  • 采用统一的 Transformer 架构,处理拼接的文本和图像补丁嵌入。
  • 使用 MLM 根据上下文重建被掩蔽的文本标记。
  • 使用 MIM 重构离散图像标记(来自离散 VAE 的视觉词汇表的标记)。
  • 引入 Word-Patch Alignment (WPA),预测与文本单词对应的图像补丁是否被掩蔽。
  • 使用 11M IIT-CDIP 文档图像进行训练,采用 RoBERTa 和 DiT 初始化;使用基于补丁的图像嵌入而非 CNN。

实验结果

研究问题

  • RQ1一个使用统一的 MLM、MIM 和 WPA 目标进行预训练的单一多模态 Transformer,能否在文本为中心和图像为中心的文档AI任务中都达到最先进的性能?
  • RQ2用线性补丁嵌入替代基于 CNN 的图像嵌入对多样化文档任务的性能和效率有何影响?
  • RQ3WPA 目标是否在跨模态对齐和下游任务精度方面提升不同基准上的表现?
  • RQ4预训练目标(MLM、MIM、WPA)对表单/收据理解、文档图像分类和文档 VQA 的影响是什么?

主要发现

  • LayoutLMv3 在 FUNSD 上达到最先进的 F1(BASE: 90.29;LARGE: 92.08)以及在 CORD(BASE: 96.56;LARGE: 97.46)。
  • LayoutLMv3 在 RVL-CDIP 上达到最先进的准确率(BASE: 95.44;LARGE: 95.93)。
  • LayoutLMv3 在 DocVQA ANLS 得分上表现强劲(BASE: 78.76;LARGE: 83.37)。
  • PubLayNet 的图像-布局分析受益于线性图像嵌入,LayoutLMv3 实现 95.1 mAP(BASE/LARGE),并超越基于 CNN 的骨干网络。
  • 消融研究表明 MIM 提升了图像为中心的任务,WPA 稳定地提升所有任务,且图像嵌入的参数开销很小(线性补丁约额外 0.6M 参数)。
  • LayoutLMv3 可以仅视觉的文档布局分析任务(PubLayNet)进行微调,使用其 Transformer 骨干网络,具备有竞争力的 MAP(在测试的骨干中最好)。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。