[论文解读] Document Rectification and Illumination Correction using a Patch-based CNN

Xiaoyu Li, Bo Zhang+2 more|arXiv (Cornell University)|Sep 20, 2019

Advanced Vision and Imaging参考文献 35被引用 8

一句话总结

本文提出一种基于图像块的卷积神经网络方法，用于单张文档图像的校正与光照校正，通过在重叠图像块上估计局部形变场，随后采用梯度域拼接技术进行融合，并引入二级光照校正网络。该方法在仅使用1,000张合成训练图像的情况下，相较于以往方法，在复杂形变情况下实现了更高的OCR准确率与更优的视觉质量。

ABSTRACT

We propose a novel learning method to rectify document images with various distortion types from a single input image. As opposed to previous learning-based methods, our approach seeks to first learn the distortion flow on input image patches rather than the entire image. We then present a robust technique to stitch the patch results into the rectified document by processing in the gradient domain. Furthermore, we propose a second network to correct the uneven illumination, further improving the readability and OCR accuracy. Due to the less complex distortion present on the smaller image patches, our patch-based approach followed by stitching and illumination correction can significantly improve the overall accuracy in both the synthetic and real datasets.

研究动机与目标

• 解决由透视效应及物理形变（如折叠或卷曲）引起的单视角文档图像中的几何形变问题。
• 通过校正校正后文档中的不均匀光照与采样伪影，提升OCR准确率。
• 开发一种深度学习方法，使其在无需专用硬件或多视角输入的情况下，能良好泛化于多种文档类型。
• 构建一个逼真的合成数据集用于训练，以捕捉复杂的光照条件、纹理特征与形变模式。
• 在文档校正准确率与对真实世界形变的鲁棒性方面，超越现有的基于学习与非基于学习的方法。

提出的方法

• 将输入文档图像划分为重叠图像块（25%重叠），以简化局部形变的学习过程。
• 训练一个卷积神经网络，为每个图像块预测局部二维位移向量场（形变流），实现局部几何校正。
• 采用梯度域融合技术将各图像块的结果拼接，以最小化接缝痕迹并保持块间一致性。
• 训练第二个卷积神经网络，用于校正拼接后图像中的非均匀光照与采样伪影，同时保持色彩保真度。
• 通过3D表面建模、逼真纹理映射、动态光照模拟与曝光仿真等手段合成训练数据，以增强模型泛化能力。
• 结合局部形变预测与全局拼接、光照校正策略，实现高质量、适合OCR处理的文档图像。

实验结果

研究问题

• RQ1 在复杂且空间变化显著的形变条件下，基于图像块的卷积神经网络方法是否能优于全局形变学习方法？
• RQ2 对图像块级校正结果采用梯度域拼接，是否能产生比直接全局变形更一致、更自然的文档图像？
• RQ3 专用的光照校正网络是否能显著提升OCR准确率，超越标准二值化处理技术？
• RQ4 该方法在未见文档类型（如海报或乐谱）上的泛化能力如何，是否超出训练数据的分布范围？
• RQ5 在仅使用1,000张合成图像的小型数据集下，其性能在多大程度上可与大规模真实世界数据集（如10万张图像）相媲美？

主要发现

• 所提出的基于图像块的方法在合成数据集与真实世界数据集上，均优于当前最先进的方法（包括Ma等人，2018年），在OCR准确率与感知质量方面表现更优。
• 仅使用1,000张合成训练图像，该方法即实现显著优于使用10万张图像训练的全局学习方法的性能。
• 光照校正显著提升了人工可读性与OCR准确率，最佳性能由所提出的双网络结构实现。
• 该方法在未见文档类型（如乐谱与海报）上表现出良好泛化能力，展现出超越训练数据分布的鲁棒性。
• 梯度域拼接技术有效减少了可见接缝与伪影，使校正后的图像更加一致且自然。
• 在极端情况（如严重褶皱、复古手写文档或高度反光页面）下仍存在局限，此时形变估计的准确性下降。