[论文解读] M$^{6}$Doc: A Large-Scale Multi-Format, Multi-Type, Multi-Layout, Multi-Language, Multi-Annotation Category Dataset for Modern Document Layout Analysis

Hiuyi Cheng, Peirong Zhang+7 more|arXiv (Cornell University)|May 15, 2023

Handwritten Text Recognition Techniques被引用 5

一句话总结

本文提出了 M$^{6}$Doc，一个大规模、多样化的现代文档版面分析数据集，涵盖多种格式（扫描件、照片、PDF）、类型（科技论文、杂志、试卷等）、版面（矩形、曼哈顿、非曼哈顿、多栏）以及语言（中文和英文），并在 9,080 页中包含 74 种细粒度标注类别。本文提出 TransDLANet 模型，一种基于 Transformer 的模型，具备自适应元素匹配机制和分割分支，在 M$^{6}$Doc 上实现了 64.5% 的 mAP，创下新的最先进水平。

ABSTRACT

Document layout analysis is a crucial prerequisite for document understanding, including document retrieval and conversion. Most public datasets currently contain only PDF documents and lack realistic documents. Models trained on these datasets may not generalize well to real-world scenarios. Therefore, this paper introduces a large and diverse document layout analysis dataset called $M^{6}Doc$. The $M^6$ designation represents six properties: (1) Multi-Format (including scanned, photographed, and PDF documents); (2) Multi-Type (such as scientific articles, textbooks, books, test papers, magazines, newspapers, and notes); (3) Multi-Layout (rectangular, Manhattan, non-Manhattan, and multi-column Manhattan); (4) Multi-Language (Chinese and English); (5) Multi-Annotation Category (74 types of annotation labels with 237,116 annotation instances in 9,080 manually annotated pages); and (6) Modern documents. Additionally, we propose a transformer-based document layout analysis method called TransDLANet, which leverages an adaptive element matching mechanism that enables query embedding to better match ground truth to improve recall, and constructs a segmentation branch for more precise document image instance segmentation. We conduct a comprehensive evaluation of $M^{6}Doc$ with various layout analysis methods and demonstrate its effectiveness. TransDLANet achieves state-of-the-art performance on $M^{6}Doc$ with 64.5% mAP. The $M^{6}Doc$ dataset will be available at https://github.com/HCIILAB/M6Doc.

研究动机与目标

• 为解决现实场景中文档版面分析缺乏真实、多样化且细粒度的数据集的问题。
• 克服现有数据集的局限性，例如格式受限（主要为 PDF）、语言支持有限（主要为英文）以及标注类别粗略。
• 建立一个全面的基准，用于评估在多种文档类型、格式和语言下布局分析模型的性能。
• 支持训练和评估能够处理复杂真实文档版面的通用、多领域布局分析模型。

提出的方法

• 提出 M$^{6}$Doc，一个大规模数据集，包含 9,080 页人工标注的页面，涵盖 7 种文档类型、4 种版面类型、2 种语言以及 74 种细粒度标注类别。
• 提出 TransDLANet，一种基于 Transformer 的模型，使用标准 Transformer 编码器（无位置编码）进行特征融合。
• 采用自适应元素匹配机制，提升查询嵌入与真实标注之间的对齐，从而提高召回率并减少重复注意力。
• 使用动态解码器融合 RoI 特征与图像特征，以提升特征表示能力。
• 部署三个参数共享的多层感知机（MLP）分支，用于实例分割中的多任务学习。
• 以实例分割为基准，引入分割分支，实现对布局元素更精确的定位。

实验结果

研究问题

• RQ1 一个包含真实文档格式（扫描件、照片、PDF）的大规模、多样化数据集，是否能提升布局分析模型的泛化能力？
• RQ2 在多语言（中文和英文）支持下，布局分析模型在跨语言场景下的性能和鲁棒性如何受到影响？
• RQ3 在基于 Transformer 的架构中，自适应元素匹配机制在多大程度上能提升召回率并减少重复注意力？
• RQ4 一个在多样化文档类型和版面上联合训练的统一模型，是否能在多个基准上实现最先进性能？
• RQ5 与粗粒度数据集相比，74 种细粒度标注类别在多大程度上能实现更精确、更详细的版面理解？

主要发现

• M$^{6}$Doc 是首个同时包含真实世界文档（扫描件和照片）与数字原生文档（PDF）的数据集，全面覆盖了文档类型、版面和语言。
• 该数据集包含 237,116 个标注实例，覆盖 9,080 页，包含 74 种细粒度标注类别，是迄今为止最详细的、人工标注的文档布局分析（DLA）数据集。
• TransDLANet 在 M$^{6}$Doc 上实现了 64.5% 的 mAP，创下文档布局分析任务的新最先进性能。
• TransDLANet 中的自适应元素匹配机制通过使查询嵌入更好地匹配真实实例，提升了召回率。
• TransDLANet 中的分割分支实现了对布局元素更精确的实例分割，显著提升了定位精度。
• 在多个数据集（如试卷、杂志、笔记）上的全面评估验证了 TransDLANet 在多样化文档版面中的鲁棒性与泛化能力。