[论文解读] Cross-Domain Document Object Detection: Benchmark Suite and Method

Kai Li, Curtis Wigington+7 more|arXiv (Cornell University)|Mar 30, 2020

Handwritten Text Recognition Techniques参考文献 36被引用 5

一句话总结

本文提出了一套基准测试套件和一种新颖的跨域文档对象检测（DOD）方法，以解决在使用标注的源域数据和未标注的目标域数据进行训练时的域偏移问题。该方法采用三种新颖的对齐模块——特征金字塔对齐（FPA）、区域对齐（RA）和渲染层对齐（RLA）——以提升检测性能，在文档和自然场景图像的跨域检测基准测试中均取得了当前最优结果。

ABSTRACT

Decomposing images of document pages into high-level semantic regions (e.g., figures, tables, paragraphs), document object detection (DOD) is fundamental for downstream tasks like intelligent document editing and understanding. DOD remains a challenging problem as document objects vary significantly in layout, size, aspect ratio, texture, etc. An additional challenge arises in practice because large labeled training datasets are only available for domains that differ from the target domain. We investigate cross-domain DOD, where the goal is to learn a detector for the target domain using labeled data from the source domain and only unlabeled data from the target domain. Documents from the two domains may vary significantly in layout, language, and genre. We establish a benchmark suite consisting of different types of PDF document datasets that can be utilized for cross-domain DOD model training and evaluation. For each dataset, we provide the page images, bounding box annotations, PDF files, and the rendering layers extracted from the PDF files. Moreover, we propose a novel cross-domain DOD model which builds upon the standard detection model and addresses domain shifts by incorporating three novel alignment modules: Feature Pyramid Alignment (FPA) module, Region Alignment (RA) module and Rendering Layer alignment (RLA) module. Extensive experiments on the benchmark suite substantiate the efficacy of the three proposed modules and the proposed method significantly outperforms the baseline methods. The project page is at \url{https://github.com/kailigo/cddod}.

研究动机与目标

• 解决文档对象检测中的域偏移挑战，即需将来自源域的标注数据适应到具有不同版式、语言和文档类型的目域。
• 通过仅使用未标注的目标域数据实现跨域学习，克服多样化文档领域中大规模标注数据集稀缺的问题。
• 建立一个全面的基准测试套件，以标准化跨域DOD模型的训练与评估。
• 开发一种检测模型，有效对齐跨域的特征、区域和渲染层，以提升泛化能力和性能。
• 在文档格式和内容显著多变的真实应用场景中，实现对文档结构的鲁棒理解。

提出的方法

• 提出一种基于特征金字塔网络（FPN）的跨域DOD模型，通过引入三种新颖的域对齐模块来缓解域偏移。
• 提出特征金字塔对齐（FPA）模块，实现源域和目标域多尺度特征金字塔之间的密集像素级对齐，对齐低层与高层语义信息。
• 采用区域对齐（RA）模块，聚焦于语义上有意义的前景区域，利用焦点损失强调难以对齐的样本，提升区域级别的对齐效果。
• 开发渲染层对齐（RLA）模块，利用PDF渲染层掩码（文本、矢量、位图）作为分割监督信号，实现文档组件的结构对齐。
• 利用基准测试套件中的辅助数据（包括原始PDF和渲染层），丰富视觉表征并提升对齐的保真度。
• 采用端到端训练方式，联合优化检测与辅助分割目标，实现在无需目标域标注的情况下进行多层级域自适应。

实验结果

研究问题

• RQ1 能否建立一个基准测试套件，以标准化在多样化文档类型、版式和语言下的跨域文档对象检测？
• RQ2 仅使用未标注的目标域数据和标注的源域数据，能在多大程度上缓解源域与目标域之间的域偏移？
• RQ3 所提出的对齐模块（FPA、RA和RLA）在提升不同文档领域检测性能方面的有效性如何？
• RQ4 所提出的方法是否能泛化到自然场景图像中的跨域目标检测任务，其中域偏移同样是挑战？
• RQ5 与现有最先进方法（如SWDA）相比，所提出模块在跨域检测性能上的表现如何？

主要发现

• 所提方法在所有跨域DOD基准测试中显著优于基线方法（包括Faster R-CNN和SWDA），在PubMed-to-Chn和PubMed-to-Legal迁移任务中，平均精度均值（mAP）提升最高达10.8%。
• 引入渲染层对齐（RLA）模块带来了最大的性能增益，证明了PDF渲染层中结构化文档信息的价值。
• 在Kitti → Cityscape自然图像跨域检测任务中，该方法达到73.3 mAP，优于SWDA的2.7%，证实了对齐模块在文档任务之外的泛化能力。
• 尽管性能有所提升，但结果仍低于全监督目标域设置（oracle setting），确认域偏移在DOD中仍是重大挑战。
• 该模型在复杂版式中表现出色，能成功检测极端长宽比的对象（如大型表格和微小页码）。
• 在检测复合结构（如多子图图像）时存在局限，因缺乏上下文感知推理，导致各组成部分被分别检测。