[论文解读] High-Resolution Document Shadow Removal via A Large-Scale Real-World Dataset and A Frequency-Aware Shadow Erasing Net

Zinuo Li, Xuhang Chen+2 more|arXiv (Cornell University)|Aug 27, 2023

Digital Media Forensic DetectionComputer Science被引用 3

一句话总结

本文提出一个大规模真实世界数据集（SD7K），包含7,000对高分辨率文档图像，以及一种频率感知网络（FSENet），该网络通过将图像分解为低频和高频分量来提升去阴影效果。FSENet采用基于Transformer的全局建模与空洞卷积模块，以保留精细细节，在高分辨率文档上的视觉质量和定量指标方面均达到最先进性能。

ABSTRACT

Shadows often occur when we capture the documents with casual equipment, which influences the visual quality and readability of the digital copies. Different from the algorithms for natural shadow removal, the algorithms in document shadow removal need to preserve the details of fonts and figures in high-resolution input. Previous works ignore this problem and remove the shadows via approximate attention and small datasets, which might not work in real-world situations. We handle high-resolution document shadow removal directly via a larger-scale real-world dataset and a carefully designed frequency-aware network. As for the dataset, we acquire over 7k couples of high-resolution (2462 x 3699) images of real-world document pairs with various samples under different lighting circumstances, which is 10 times larger than existing datasets. As for the design of the network, we decouple the high-resolution images in the frequency domain, where the low-frequency details and high-frequency boundaries can be effectively learned via the carefully designed network structure. Powered by our network and dataset, the proposed method clearly shows a better performance than previous methods in terms of visual quality and numerical results. The code, models, and dataset are available at: https://github.com/CXH-Research/DocShadow-SD7K

研究动机与目标

• 解决当前缺乏大规模、高分辨率真实世界文档去阴影数据集的问题。
• 开发一种深度学习模型，能够在高分辨率文档图像中保留字体和图形等细粒度细节。
• 克服现有方法依赖低分辨率近似或弱监督所带来的缺陷，避免伪影和幻觉现象。
• 通过频率分解的网络架构，实现在多种光照条件下鲁棒、高保真的去阴影效果。

提出的方法

• 作者收集了7,000对真实世界高分辨率（2462×3699）文档图像对，并手动标注阴影掩码，构建SD7K数据集。
• 一种频率感知网络FSENet利用拉普拉斯金字塔结构将输入图像分解为低频和高频分量。
• 低频分量通过基于Transformer的模块（TRM）和双特征增强模块（DFE）进行处理，以建模全局光照变化。
• 高频分量通过级联空洞卷积结构的纹理恢复模块（TRM）进行恢复，以重建边缘和轮廓等精细细节。
• 网络在低频和高频分支中分别采用注意力机制，以实现领域特定的特征学习。
• 采用阴影合成管道对训练数据进行增强，提升泛化能力，尤其在小型基准上表现更优。

实验结果

研究问题

• RQ1 大规模真实世界高分辨率数据集能否提升文档去阴影模型的性能与泛化能力？
• RQ2 网络架构中的频率分解是否能增强对高分辨率文档中字体和图形等细粒度细节的保留？
• RQ3 所提出的FSENet在视觉质量与定量指标方面，相较于现有监督、弱监督和无监督方法表现如何？
• RQ4 FSENet架构中的各个组件（如TRM、DFE、DAT、阴影合成）对最终性能的贡献程度如何？

主要发现

• FSENet在公开基准和所提出的SD7K数据集上均达到最先进性能，在PSNR、SSIM和RMSE指标上优于现有方法。
• 与弱监督和无监督方法相比，该模型显著减少了伪影和幻觉现象，尤其在领域分布偏移条件下表现更优。
• 消融实验表明，增加拉普拉斯金字塔的深度会降低性能，表明在三层时达到最优分解深度。
• DFE与DAT模块的组合在低频去阴影中表现最佳，而TRM模块对高频细节恢复至关重要。
• 若移除阴影合成管道，性能显著下降，尤其在小型数据集上，证实其对泛化能力的关键作用。
• 尽管性能优越，但该模型因计算成本高和参数量大，无法在边缘设备上部署。