[论文解读] DocLayNet: A Large Human-Annotated Dataset for Document-Layout Analysis

B. Pfitzmann, Christoph Auer+3 more|arXiv (Cornell University)|Jun 2, 2022

Handwritten Text Recognition Techniques被引用 10

一句话总结

本文提出了 DocLayNet，一个大规模、人工标注的数据集，包含 80,863 种多样化的文档页面，具有 11 种详细的版面类别标签，旨在提升文档版面分析性能。在该数据集上训练的物体检测模型，在各种版面下的表现显著优于在 PubLayNet 或 DocBank 上训练的模型，模型准确率与人工标注者间一致性之间存在约 10% 的差距，表明仍有改进空间。

ABSTRACT

Accurate document layout analysis is a key requirement for high-quality PDF document conversion. With the recent availability of public, large ground-truth datasets such as PubLayNet and DocBank, deep-learning models have proven to be very effective at layout detection and segmentation. While these datasets are of adequate size to train such models, they severely lack in layout variability since they are sourced from scientific article repositories such as PubMed and arXiv only. Consequently, the accuracy of the layout segmentation drops significantly when these models are applied on more challenging and diverse layouts. In this paper, we present extit{DocLayNet}, a new, publicly available, document-layout annotation dataset in COCO format. It contains 80863 manually annotated pages from diverse data sources to represent a wide variability in layouts. For each PDF page, the layout annotations provide labelled bounding-boxes with a choice of 11 distinct classes. DocLayNet also provides a subset of double- and triple-annotated pages to determine the inter-annotator agreement. In multiple experiments, we provide baseline accuracy scores (in mAP) for a set of popular object detection models. We also demonstrate that these models fall approximately 10\% behind the inter-annotator agreement. Furthermore, we provide evidence that DocLayNet is of sufficient size. Lastly, we compare models trained on PubLayNet, DocBank and DocLayNet, showing that layout predictions of the DocLayNet-trained models are more robust and thus the preferred choice for general-purpose document-layout analysis.

研究动机与目标

• 为解决现有数据集（如 PubLayNet 和 DocBank）中版面多样性有限的问题，这些数据集源自具有统一模板的科学文献库。
• 提供一个大规模、人工标注的数据集，涵盖高度多样的文档类型和版面，以更好地训练和评估版面分割模型。
• 在多样化版面分布上建立先进物体检测模型的可靠基线性能指标。
• 量化人工标注一致性与模型性能之间的差距，揭示版面理解面临的挑战。
• 证明在 DocLayNet 上训练的模型相比在更同质化数据集上训练的模型，能在更多样化的文档类型上实现更好的泛化能力。

提出的方法

• 通过大规模人工标注活动构建数据集，使用 11 种不同的版面类别对 80,863 个唯一文档页面进行 COCO 格式标注。
• 使用部分页面（双人和三人标注）计算标注者间一致性，以评估标注质量。
• 数据集包含预定义的、非重叠的训练集、验证集和测试集，以防止数据泄露并确保各类别比例均衡。
• 在 DocLayNet、PubLayNet 和 DocBank 上对基线模型（包括使用 ResNet-50 的 Mask R-CNN）进行训练和评估，以进行对比分析。
• 开展消融研究，评估数据划分策略（按页面 vs. 按文档）对模型性能指标的影响。
• 在不同数据集的常见标签类别上对模型进行微调和评估，以比较其泛化性能。

实验结果

研究问题

• RQ1 DocLayNet 中的版面多样性与现有数据集（如 PubLayNet 和 DocBank）相比如何？这种多样性对模型泛化能力有何影响？
• RQ2 DocLayNet 中版面标注的人工标注者间一致性如何？与模型预测准确率相比有何差异？
• RQ3 在 DocLayNet 上训练的模型是否在未见过的非科学类文档版面中表现出更好的泛化性能，相比在 PubLayNet 或 DocBank 上训练的模型？
• RQ4 不同的数据划分策略（按页面 vs. 按文档）如何影响模型 mAP 评分的评估结果？
• RQ5 在文档版面分析中，人工标注者与机器学习模型之间的性能差距是多少？

主要发现

• 在 DocLayNet 自身测试集上，基于 DocLayNet 训练的模型达到 78 的平均精度均值（mAP），显著优于在 PubLayNet 和 DocBank 上训练并在同一测试集上评估的模型。
• DocLayNet 训练模型与人工标注者间一致性的性能差距约为 10%，表明模型在理解能力上仍落后于人类水平。
• 按页面划分数据集相比按文档划分，mAP 分数高出约 10%，凸显了使用不当划分策略可能高估模型性能的风险。
• 在 DocLayNet 上训练的模型在不同数据集（PubLayNet、DocBank 和 DocLayNet）上表现出更一致的性能，优于在 PubLayNet 或 DocBank 上训练的模型，证明其具有更优的泛化能力。
• 在 DocLayNet 测试集中，基于 DocLayNet 训练的模型在“文本”类别上达到 mAP 84，在“表格”类别上达到 mAP 82，优于在其他数据集上训练的模型在这些常见标签上的表现。
• 本研究证实，DocLayNet 足够大且多样化，可作为未来文档版面分析研究的基准。