[论文解读] DocScanner: Robust Document Image Rectification with Progressive Learning

Hao Feng, Wengang Zhou+3 more|arXiv (Cornell University)|Oct 28, 2021

Handwritten Text Recognition Techniques参考文献 67被引用 15

一句话总结

DocScanner 提出了一种基于循环架构的渐进式学习框架，用于文档图像校正，通过迭代逐步优化单个校正图像的估计，实现了在 OCR 准确率、图像相似度以及一种新型失真度量上的最先进性能，同时保持了高效率。该方法利用几何正则化和圆一致性损失，增强了模型的鲁棒性和收敛性。

ABSTRACT

Compared with flatbed scanners, portable smartphones provide more convenience for physical document digitization. However, such digitized documents are often distorted due to uncontrolled physical deformations, camera positions, and illumination variations. To this end, we present DocScanner, a novel framework for document image rectification. Different from existing solutions, DocScanner addresses this issue by introducing a progressive learning mechanism. Specifically, DocScanner maintains a single estimate of the rectified image, which is progressively corrected with a recurrent architecture. The iterative refinements make DocScanner converge to a robust and superior rectification performance, while the lightweight recurrent architecture ensures the running efficiency. To further improve the rectification quality, based on the geometric priori between the distorted and the rectified images, a geometric regularization is introduced during training to further improve the performance. Extensive experiments are conducted on the Doc3D dataset and the DocUNet Benchmark dataset, and the quantitative and qualitative evaluation results verify the effectiveness of DocScanner, which outperforms previous methods on OCR accuracy, image similarity, and our proposed distortion metric by a considerable margin. Furthermore, our DocScanner shows superior efficiency in runtime latency and model size.

研究动机与目标

• 解决由于相机角度、光照条件和纸张形变导致的智能手机拍摄文档图像中的几何失真问题。
• 克服现有深度学习方法在处理大范围形变和高计算成本方面的局限性。
• 开发一种轻量化、高效且鲁棒的校正框架，适用于移动设备的实际部署。
• 通过渐进式迭代优化和几何先验提升校正质量。
• 提出一种新的失真度量（Li-D），用于评估校正图像中的全局几何失真。

提出的方法

• 采用类似 U-Net 的循环架构，仅维护一个校正图像的估计，并在多轮迭代中逐步优化。
• 使用可学习的上采样模块进行光流预测，相比双线性上采样能更好地恢复细尺度形变。
• 采用基于 ConvGRU 的更新单元，聚合多轮迭代的信息并保持空间一致性。
• 在训练过程中引入基于几何正则化的约束，即校正图像中的直线应保持为直线。
• 引入圆一致性损失，强制沿行和列方向的直线保持直线，从而减少全局失真。
• 在各轮迭代中共享权重以保持效率，消融实验表明，解耦权重可略微提升性能，但会增加参数量。

实验结果

研究问题

• RQ1 与单阶段深度学习方法相比，基于循环架构的迭代渐进优化是否能提升文档图像校正的性能？
• RQ2 基于直线约束的几何正则化在减少校正图像中全局失真方面有何影响？
• RQ3 圆一致性损失在几何保真度方面对校正后文档图像的质量提升程度如何？
• RQ4 所提方法在校正准确率与推理效率及模型大小之间如何实现平衡？
• RQ5 尽管未在包含不完整或缺失文档边界的图像上进行显式训练，该方法是否仍能泛化到此类图像？

主要发现

• 在 DocUNet Benchmark 和 Doc3D 数据集上，DocScanner 在 OCR 准确率、图像相似度以及所提出的 Li-D 失真度量上均优于以往最先进方法。
• 模型在收敛后表现优异，DocScanner-B 在约 4 次迭代后超越 DewarpNet，约 8 次迭代后超越 DocGeoNet。
• 渐进式优化过程在 200 次迭代下仍表现出稳定的收敛性，表明对过拟合和发散具有强鲁棒性。
• 使用可学习上采样模块进行光流预测的性能优于双线性上采样，尤其在恢复微小形变方面表现更优。
• 在 DocUNet Benchmark 上，圆一致性损失在所有度量指标上均带来显著性能提升，证实其在减少全局失真方面的有效性。
• 即使在文档边界不完整或缺失的情况下，DocScanner 仍能保持部分校正能力，表明其泛化能力超越了训练数据的分布。