[论文解读] Geometric Rectification of Creased Document Images based on Isometric Mapping

Dong Luo, Pengbo Bo|arXiv (Cornell University)|Dec 16, 2022

Handwritten Text Recognition Techniques被引用 5

一句话总结

本文提出了一种新颖的几何校正方法，用于折痕和折叠文档图像的校正，采用计算等距映射来建模可展三维表面及其平面展开。通过整合可展性约束与可检测的纹理特征（如直线），该方法在无需单独进行三维重建和展开步骤的情况下，实现了卓越的校正质量——尤其在复杂形变情况下表现更优。

ABSTRACT

Geometric rectification of images of distorted documents finds wide applications in document digitization and Optical Character Recognition (OCR). Although smoothly curved deformations have been widely investigated by many works, the most challenging distortions, e.g. complex creases and large foldings, have not been studied in particular. The performance of existing approaches, when applied to largely creased or folded documents, is far from satisfying, leaving substantial room for improvement. To tackle this task, knowledge about document rectification should be incorporated into the computation, among which the developability of 3D document models and particular textural features in the images, such as straight lines, are the most essential ones. For this purpose, we propose a general framework of document image rectification in which a computational isometric mapping model is utilized for expressing a 3D document model and its flattening in the plane. Based on this framework, both model developability and textural features are considered in the computation. The experiments and comparisons to the state-of-the-art approaches demonstrated the effectiveness and outstanding performance of the proposed method. Our method is also flexible in that the rectification results can be enhanced by any other methods that extract high-quality feature lines in the images.

研究动机与目标

• 解决现有方法在处理具有复杂折痕和大范围折叠的文档时几何校正效果不佳的问题。
• 将文档可展性的内在几何属性整合到校正过程中，以提升模型精度。
• 利用文本特征（如直线、文本基线）作为直接约束，以增强校正质量。
• 构建一个统一框架，同时计算文档的三维模型及其二维展开，避免因分步处理导致的误差累积。
• 确保在文档边界不完整或缺失（现实成像场景中的常见问题）条件下仍具有鲁棒性。

提出的方法

• 采用计算等距映射模型，将三维文档表面及其二维平面展开表示为单一优化过程。
• 使用基于四边形的网格作为灵活表示方式，用于建模复杂折痕或折叠的文档表面。
• 在三维网格上施加可展性约束，以确保表面可无拉伸或撕裂地展开。
• 在优化过程中整合检测到的特征线（如文本基线、直线边缘）作为几何约束，以引导精确校正。
• 结合针孔相机模型与等距映射，将三维表面点映射到二维图像坐标，同时保持内在几何特性。
• 通过边界约束与特征线约束联合执行形状优化，初始边界数据可加速收敛。

实验结果

研究问题

• RQ1 等距映射能否有效应用于建模和校正具有复杂几何结构的高度折痕与折叠文档表面？
• RQ2 在三维模型中强制实施可展性，相较于非可展模型，能否显著提升文档图像校正的质量？
• RQ3 在缺乏完整边界信息的情况下，检测到的纹理特征（如直线）在多大程度上能提升校正精度？
• RQ4 所提出的方法是否能在不依赖完整文档边界的情况下实现高质量校正，这在现实场景中十分常见？
• RQ5 在校正流程中集成特征线约束，对优化速度与收敛性有何影响？

主要发现

• 即使未显式使用特征线约束，所提方法在复杂折痕文档上的校正质量仍优于当前最先进方法。
• 当高质量特征线可用时，方法显著提升了校正精度，证明了将此类特征作为约束的高效性。
• 包含文档边界约束时，优化收敛更快，且随着添加更多特征线，所需迭代次数减少。
• 该方法在边界不完整条件下仍具鲁棒性：即使部分文档边界缺失，也能生成准确结果，而其他方法则依赖完整边界。
• 基于深度学习的基线方法（如DewarpNet和DocTr）在边界不完整情况下表现出明显失真或内容丢失，而所提方法保持了结构完整性。
• 该方法具有高度灵活性，可与任意特征检测流水线集成，且校正质量随检测到的特征线质量与数量成比例提升。