[论文解读] Bi-VLDoc: Bidirectional Vision-Language Modeling for Visually-Rich Document Understanding

Chuwei Luo, Guozhi Tang+6 more|arXiv (Cornell University)|Jun 27, 2022

Handwritten Text Recognition Techniques被引用 6

一句话总结

Bi-VLDoc 提出了一种用于视觉丰富文档理解的双向视觉-语言预训练框架，通过混合注意力机制和三项新颖的预训练任务（BTIA、RWTP 和 TIPA）增强跨模态交互。其在表格理解（93.44%）、收据信息抽取（97.84%）、文档分类（97.12%）以及文档视觉问答任务中达到最先进性能，相较于之前模型最高提升 1.26% ANLS。

ABSTRACT

Multi-modal document pre-trained models have proven to be very effective in a variety of visually-rich document understanding (VrDU) tasks. Though existing document pre-trained models have achieved excellent performance on standard benchmarks for VrDU, the way they model and exploit the interactions between vision and language on documents has hindered them from better generalization ability and higher accuracy. In this work, we investigate the problem of vision-language joint representation learning for VrDU mainly from the perspective of supervisory signals. Specifically, a pre-training paradigm called Bi-VLDoc is proposed, in which a bidirectional vision-language supervision strategy and a vision-language hybrid-attention mechanism are devised to fully explore and utilize the interactions between these two modalities, to learn stronger cross-modal document representations with richer semantics. Benefiting from the learned informative cross-modal document representations, Bi-VLDoc significantly advances the state-of-the-art performance on three widely-used document understanding benchmarks, including Form Understanding (from 85.14% to 93.44%), Receipt Information Extraction (from 96.01% to 97.84%), and Document Classification (from 96.08% to 97.12%). On Document Visual QA, Bi-VLDoc achieves the state-of-the-art performance compared to previous single model methods.

研究动机与目标

• 解决现有文档预训练模型中双向跨模态交互有限的问题。
• 通过利用视觉与语言模态的监督信号，提升跨模态表征学习能力。
• 通过细粒度的位置级注意力与对齐机制，增强布局感知理解能力。
• 在多个视觉丰富文档理解基准上实现最先进性能。
• 实现文档人工智能中文本、布局与视觉特征的更有效联合建模。

提出的方法

• 提出一种双向视觉-语言监督策略，实现视觉与语言模态之间的相互监督。
• 设计一种视觉-语言混合注意力机制，在表征学习过程中动态融合跨模态特征。
• 设计三项新型预训练任务：BTIA（双向文本-图像对齐）、RWTP（区域级文本预测）和 TIPA（文本图像位置感知）。
• 利用 RWTP 通过语言监督实现视觉重建，将文本标记与对应视觉区域对齐。
• 采用 TIPA 实现精确的、位置感知的文本到图像注意力机制，尤其适用于碎片化或多区域文本块。
• 在下游任务中通过统一的文本、视觉与布局嵌入序列进行微调，并使用基于 token 的分类器实现跨度抽取。

实验结果

研究问题

• RQ1 双向视觉-语言监督能否提升视觉丰富文档理解中的跨模态表征学习？
• RQ2 语言监督的视觉重建在多大程度上增强视觉特征与文本内容的对齐？
• RQ3 细粒度的布局感知在多大程度上提升文档级任务的性能？
• RQ4 混合注意力机制能否有效融合视觉与语言特征，从而提升文档理解能力？
• RQ5 联合预训练并采用双向目标是否能在多样化的文档理解基准上持续取得最先进性能？

主要发现

• Bi-VLDoc 在表格理解任务上达到 93.44% 的 F1 分数，相较于之前最先进模型的 85.14% 提升了 8.3%。
• 在收据信息抽取任务中，Bi-VLDoc 达到 97.84% 的 F1 分数，高于此前最先进模型的 96.01%。
• 在文档分类任务中，Bi-VLDoc 取得 97.12% 的准确率，超过此前最先进模型的 96.08%。
• 在文档视觉问答任务中，Bi-VLDoc 达到 84.70 的 ANLS 得分，较 LayoutLM v2 提升 1.26 个百分点。
• 可视化结果表明，Bi-VLDoc 学习到了文本与视觉标记相互关注的跨注意力模式，而 LayoutLM v2 仅呈现单向注意力。
• 案例研究显示，Bi-VLDoc 能够通过将文本标记与对应视觉区域对齐，正确识别 HEADER 等实体，而 LayoutLM v2 在此类情况下出现失败。