[论文解读] Demoiréing of Camera-Captured Screen Images Using Deep Convolutional Neural Network

Bolin Liu, Xiao Shu+1 more|arXiv (Cornell University)|Apr 11, 2018

Image and Signal Denoising Methods参考文献 3被引用 26

一句话总结

本文提出一种两阶段深度卷积神经网络（DCNN）用于去除相机拍摄屏幕图像中的摩尔纹，通过合成数据生成与从粗到精的网络结构，有效抑制摩尔纹。该方法在合成数据上实现最先进性能，PSNR最高提升3 dB，SSIM提升0.014；通过两阶段训练策略，对真实世界图像也展现出优异泛化能力。

ABSTRACT

Taking photos of optoelectronic displays is a direct and spontaneous way of transferring data and keeping records, which is widely practiced. However, due to the analog signal interference between the pixel grids of the display screen and camera sensor array, objectionable moiré (alias) patterns appear in captured screen images. As the moiré patterns are structured and highly variant, they are difficult to be completely removed without affecting the underneath latent image. In this paper, we propose an approach of deep convolutional neural network for demoiréing screen photos. The proposed DCNN consists of a coarse-scale network and a fine-scale network. In the coarse-scale network, the input image is first downsampled and then processed by stacked residual blocks to remove the moiré artifacts. After that, the fine-scale network upsamples the demoiréd low-resolution image back to the original resolution. Extensive experimental results have demonstrated that the proposed technique can efficiently remove the moiré patterns for camera acquired screen images; the new technique outperforms the existing ones.

研究动机与目标

• 解决相机拍摄屏幕图像中因显示与传感器采样网格相互干扰而产生的结构化、高度变化的摩尔纹伪影问题，此类伪影会降低图像质量。
• 通过建立LCD与Bayer CFA相互作用的物理模型，生成逼真的合成训练数据，以克服真实世界配对训练数据（含摩尔纹与无摩尔纹图像）难以获取的难题。
• 设计一种多尺度DCNN架构，从粗到细逐步处理图像，以更好地捕捉并去除不同空间频率下的摩尔纹。
• 通过引入两阶段训练策略——先在合成数据上预训练，再在真实图像上微调——提升对真实世界退化（如相机抖动、反光）的鲁棒性。
• 在大尺度摩尔纹（如彩色条纹）上，相比DnCNN与RED-Net等现有方法，显著提升去摩尔纹性能。

提出的方法

• 通过建模Bayer CFA相机与LCD子像素结构相互作用的物理过程，生成真实感摩尔纹图像，从干净数字图像合成训练数据。
• 设计两阶段DCNN：粗尺度网络对输入下采样，经堆叠残差块处理以去除摩尔纹；细尺度网络将结果上采样回原始分辨率。
• 实施两阶段训练流程：首先在合成数据上联合预训练生成器与判别器，随后使用真实相机拍摄图像与第一阶段输出对生成器进行微调。
• 采用基于GAN的框架，引入判别器以提升感知质量，生成器与判别器交替训练，k=1，学习率设为10⁻⁵，使用Adam优化器。
• 预训练细尺度网络时采用双三次上采样，并采用感受野匹配策略，确保跨尺度的有效特征学习。
• 在粗网络与细网络中均采用残差块，以稳定训练过程，并在去摩尔纹过程中保留图像细节。

实验结果

研究问题

• RQ1 当缺乏配对真实数据时，基于深度学习的方法能否有效去除相机拍摄屏幕图像中复杂且结构化的摩尔纹？
• RQ2 与单尺度网络相比，从粗到精的多尺度DCNN架构在去摩尔纹性能上有哪些提升？
• RQ3 基于摩尔纹形成物理模型生成的合成训练数据，在多大程度上能泛化到真实世界相机拍摄的图像？
• RQ4 两阶段训练策略（先在合成数据上预训练，再在真实数据上微调）是否能显著提升模型在真实世界图像上的鲁棒性与性能？
• RQ5 在PSNR、SSIM与视觉质量方面，该方法与SOTA图像恢复网络（如DnCNN与RED-Net）相比，定量与定性表现如何？

主要发现

• 在合成粗尺度图像上，该方法实现41.59 dB PSNR与0.9934 SSIM，相比DnCNN35（38.84 dB PSNR，0.9858 SSIM）提升超过2.7 dB（PSNR）与0.0076（SSIM）。
• 在高分辨率合成数据上，该方法实现40.01 dB PSNR与0.9829 SSIM，显著优于DnCNN35（37.46 dB PSNR，0.9678 SSIM）与RED36（37.80 dB PSNR，0.9717 SSIM）。
• 在真实相机拍摄图像上的视觉结果表明，该方法能有效去除大尺度摩尔纹（如彩色条纹），而DnCNN与RED-Net方法无法有效抑制此类伪影。
• 两阶段训练策略使模型即使主要在合成数据上训练，也能在真实世界图像上实现良好泛化，真实测试集表现强劲。
• 该方法保持了具有竞争力的推理速度，相比基线网络计算开销极小，GPU运行时间结果表明其高效性。
• 人类观察者一致评价该方法生成的图像更清晰、更自然，尤其在保留细节与减少色彩伪影方面优于对比方法。