[论文解读] LayoutLMv2: Multi-modal Pre-training for Visually-Rich Document Understanding

Yang Xu, Yiheng Xu+10 more|arXiv (Cornell University)|Dec 29, 2020

Multimodal Machine Learning Applications参考文献 42被引用 58

一句话总结

LayoutLMv2 引入一个多模态 Transformer，联合建模文本、布局和图像，用于视觉丰富的文档理解，通过新的预训练任务和具空间感的注意力，在多个 VrDU 任务上达到最新技术水平。

ABSTRACT

Pre-training of text and layout has proved effective in a variety of visually-rich document understanding tasks due to its effective model architecture and the advantage of large-scale unlabeled scanned/digital-born documents. We propose LayoutLMv2 architecture with new pre-training tasks to model the interaction among text, layout, and image in a single multi-modal framework. Specifically, with a two-stream multi-modal Transformer encoder, LayoutLMv2 uses not only the existing masked visual-language modeling task but also the new text-image alignment and text-image matching tasks, which make it better capture the cross-modality interaction in the pre-training stage. Meanwhile, it also integrates a spatial-aware self-attention mechanism into the Transformer architecture so that the model can fully understand the relative positional relationship among different text blocks. Experiment results show that LayoutLMv2 outperforms LayoutLM by a large margin and achieves new state-of-the-art results on a wide variety of downstream visually-rich document understanding tasks, including FUNSD (0.7895 $ o$ 0.8420), CORD (0.9493 $ o$ 0.9601), SROIE (0.9524 $ o$ 0.9781), Kleister-NDA (0.8340 $ o$ 0.8520), RVL-CDIP (0.9443 $ o$ 0.9564), and DocVQA (0.7295 $ o$ 0.8672). We made our model and code publicly available at \url{https://aka.ms/layoutlmv2}.

研究动机与目标

• 通过在一个统一的预训练框架中利用跨模态信息（文本、布局、图像）来促进 VrDU 的提升。
• 提出一个具空间感自注意力的多模态 Transformer，以学习跨模态交互和相对空间关系。
• 在掩蔽视觉语言建模之外，引入新的预训练任务（文本-图像对齐和文本-图像匹配）。
• 在多样的 VrDU 数据集上进行评估，以展示最先进的性能和对下游任务的可迁移性。

提出的方法

• 构建一个双流的多模态 Transformer 编码器，将文本嵌入、来自 CNN 主干（ResNeXt-FPN）的视觉嵌入，以及来自 OCR 边界框的布局嵌入融合在一起。
• 结合具空间感的自注意力，使用一维和二维相对位置偏置来建模文本块之间的相对空间关系。
• 预训练任务包括：掩蔽视觉语言建模（MVLM）、文本-图像对齐（TIA）（按行级别），以及文本-图像匹配（TIM）。
• 在 IIT-CDIP 上进行预训练，并在六个下游 VrDU 任务上进行微调，包含 FUNSD、CORD、SROIE、Kleister-NDA、RVL-CDIP 和 DocVQA。
• 在下游任务上微调 LayoutLMv2 的变体（BASE、LARGE），并与 BERT、UniLMv2、LayoutLM（BASE/LARGE）进行对比。

实验结果

研究问题

• RQ1 如何在单一预训练框架中有效建模跨模态（文本、布局、图像）信息以用于 VrDU？
• RQ2 新的预训练目标（TIA、TIM）以及具空间感的注意力是否能在 MVLM 的基础上提升跨模态理解？
• RQ3 与先前模型相比，LayoutLMv2 在多样的 VrDU 任务上能实现哪些性能提升？
• RQ4 LayoutLMv2 如何在信息抽取和文档问答任务上实现迁移？

主要发现

• LayoutLMv2 LARGE 在多项 VrDU 任务上达到与之前模型相比的最先进结果。
• 在 FUNSD、CORD、SROIE 和 Kleister-NDA 上，LayoutLMv2 LARGE 分别达到 0.8420、0.9601、0.9781 和 0.8520（实体抽取 F1）。
• LayoutLMv2 BASE/LARGE 超越 LayoutLM BASE/LARGE 与文本仅基线，凸显多模态预训练的好处。
• 文本-图像对齐（TIA）和文本-图像匹配（TIM）任务，加上具空间感的自注意力，显著提升了相对于 MVLM 的性能。
• LayoutLMv2 也提升了文档图像分类（RVL-CDIP）和 DocVQA ANLS 分数，表明对 VrDU 任务有广泛裨益。
• 该模型和代码公开可用于复现实验和扩展。