[论文解读] DocAligner: Annotating Real-world Photographic Document Images by Simply Taking Pictures

Jiaxin Zhang, Bangdong Chen+4 more|arXiv (Cornell University)|Jun 9, 2023

Handwritten Text Recognition Techniques被引用 4

一句话总结

DocAligner 通过在摄影文档图像与干净文档图像之间建立密集对应关系，实现了对真实世界摄影文档图像的自动标注，从而通过非刚性对齐、分层相关性和循环精炼实现现有标注的自动迁移及新标签的生成。该方法将人工标注时间至少减少30倍，并在版面分析、光照校正和几何校正任务中达到最先进性能。

ABSTRACT

Recently, there has been a growing interest in research concerning document image analysis and recognition in photographic scenarios. However, the lack of labeled datasets for this emerging challenge poses a significant obstacle, as manual annotation can be time-consuming and impractical. To tackle this issue, we present DocAligner, a novel method that streamlines the manual annotation process to a simple step of taking pictures. DocAligner achieves this by establishing dense correspondence between photographic document images and their clean counterparts. It enables the automatic transfer of existing annotations in clean document images to photographic ones and helps to automatically acquire labels that are unavailable through manual labeling. Considering the distinctive characteristics of document images, DocAligner incorporates several innovative features. First, we propose a non-rigid pre-alignment technique based on the document's edges, which effectively eliminates interference caused by significant global shifts and repetitive patterns present in document images. Second, to handle large shifts and ensure high accuracy, we introduce a hierarchical aligning approach that combines global and local correlation layers. Furthermore, considering the importance of fine-grained elements in document images, we present a details recurrent refinement module to enhance the output in a high-resolution space. To train DocAligner, we construct a synthetic dataset and introduce a self-supervised learning approach to enhance its robustness for real-world data. Through extensive experiments, we demonstrate the effectiveness of DocAligner and the acquired dataset. Datasets and codes will be publicly available.

研究动机与目标

• 为解决真实世界场景中文档 AI 进展受阻的关键问题——缺乏标注的摄影文档图像数据集。
• 通过图像对应关系实现图像间标签迁移，消除昂贵且耗时的人工标注需求。
• 开发一种在存在非刚性形变、视角变化和重复图案的情况下，仍能实现摄影文档与干净文档图像之间密集对应关系的鲁棒方法。
• 构建一个高质量的合成数据集和一种自监督训练策略，以提升对真实世界数据的泛化能力。
• 在多个文档 AI 任务中展示该方法的实际效用，包括版面分析、光照校正和几何校正。

提出的方法

• 提出使用薄板样条（TPS）进行非刚性预对齐，以处理文档图像中的全局位移和重复图案，提升初始对齐的鲁棒性。
• 引入一种分层对齐模块，结合全局与局部相关层及自粗到精的光流预测，实现高精度的密集对应关系。
• 设计一种细节循环精炼模块，采用内存高效的卷积门控循环单元（ConvGRU），以增强高分辨率光流输出，保留细粒度的字符级细节。
• 利用基于 PDF 的干净图像，通过随机光流变形并叠加真实阴影图，构建合成数据集以模拟摄影失真。
• 在训练过程中采用自监督学习方法，提升在真实摄影数据上的泛化能力，且无需真实光流标注。
• 在下游任务（如几何校正）中采用基于 Transformer 的架构，使用 DocAligner 获取的真实数据进行训练，实现最先进性能。

Figure 1 : Automatic annotation for real-world photographic document images via DocAligner. All you need to do is take pictures.

实验结果

研究问题

• RQ1 尽管存在非刚性形变和复杂图案，是否能有效建立干净文档与摄影文档图像之间的密集对应关系？
• RQ2 是否能将自动标注简化为仅拍摄打印文档，从而完全消除人工标注？
• RQ3 所提出的非刚性预对齐方法是否在处理多样化文档失真方面优于刚性变换（如单应性变换）？
• RQ4 分层对齐与循环精炼模块是否能显著提升高分辨率文档图像中的光流精度与细节保留能力？
• RQ5 在合成数据上采用自监督训练策略，并结合真实数据采集，是否能在真实世界文档 AI 任务中实现更优性能？

主要发现

• 在标注版面分析数据时，DocAligner 将人工标注时间至少减少30倍，显著降低标注成本。
• 在 DocUNet 基准测试中，当同时使用非刚性预对齐与细节循环精炼时，模型达到 MS-SSIM 0.8058 和 AD 0.0486，优于消融实验的变体。
• 基于 Transformer 的几何校正模型在使用 DocAligner 获取的真实数据上进行训练，达到 MS-SSIM 0.4897 和 AD 0.4226，优于在更大规模合成数据集上训练的模型。
• 在合成数据集上采用自监督训练可提升泛化能力，即使真实标注数据有限，也能在真实数据上实现优异性能。
• 消融实验证实，非刚性预对齐与细节循环精炼模块均不可或缺，任一移除均导致性能显著下降。
• 该方法实现了从干净文档图像到摄影图像的自动标签迁移，使布局分析与表格识别等任务的快速数据生成成为可能。

Figure 2 : Overall architecture of DocAligner. Considering photographic $I_{s}$ and clean $I_{t}$ , DocAligner aims to densely correlate each pixel in $I_{t}$ with $I_{s}$ .