[论文解读] Deep Residual Network for Joint Demosaicing and Super-Resolution

Ruofan Zhou, Radhakrishna Achanta+1 more|arXiv (Cornell University)|Feb 19, 2018

Advanced Image Processing Techniques参考文献 23被引用 5

一句话总结

本文提出一种用于端到端联合去马赛克与超分辨率的深度残差网络，直接将低分辨率Bayer马赛克图像映射为高分辨率彩色图像。通过联合优化两项任务，该方法消除了顺序处理带来的伪影，实现了SOTA性能，相较于先前方法平均PSNR提升1.3 dB。

ABSTRACT

In digital photography, two image restoration tasks have been studied extensively and resolved independently: demosaicing and super-resolution. Both these tasks are related to resolution limitations of the camera. Performing super-resolution on a demosaiced images simply exacerbates the artifacts introduced by demosaicing. In this paper, we show that such accumulation of errors can be easily averted by jointly performing demosaicing and super-resolution. To this end, we propose a deep residual network for learning an end-to-end mapping between Bayer images and high-resolution images. By training on high-quality samples, our deep residual demosaicing and super-resolution network is able to recover high-quality super-resolved images from low-resolution Bayer mosaics in a single step without producing the artifacts common to such processing when the two operations are done separately. We perform extensive experiments to show that our deep residual network achieves demosaiced and super-resolved images that are superior to the state-of-the-art both qualitatively and in terms of PSNR and SSIM metrics.

研究动机与目标

• 为解决顺序应用去马赛克与超分辨率导致的次优性能问题，如颜色交错伪影和模糊现象。
• 将去马赛克与超分辨率统一为单一端到端深度学习框架，以提升图像质量。
• 消除将去马赛克与超分辨率作为独立阶段处理时固有的误差传播问题。
• 证明联合优化相比SOTA顺序处理流水线，在视觉质量与定量指标（PSNR、SSIM）方面表现更优。

提出的方法

• 该方法采用深度残差网络（ResNet）学习从RGGB Bayer图案到高分辨率彩色图像的端到端映射。
• 网络在高质量配对数据上进行训练，包含Bayer马赛克图像及其对应的高分辨率真实图像。
• 该架构联合处理所有三个颜色通道，避免了先前超分辨率方法中常见的亮度-色度分离处理方式。
• 网络设计可轻松适配其他CFA模式，仅需增加两层即可完成适配，具有良好的可扩展性。
• 采用残差学习模块以稳定深层网络训练，并提升特征学习能力。
• 模型使用标准损失函数（如L2或L1）进行训练，以最小化预测图像与真实高分辨率图像之间的重建误差。

实验结果

研究问题

• RQ1 使用深度学习联合优化去马赛克与超分辨率，是否能相比顺序处理减少伪影？
• RQ2 端到端深度残差网络是否在PSNR与SSIM指标上均优于SOTA顺序处理流水线？
• RQ3 该网络能否在仅作少量架构修改的情况下泛化至其他色彩滤波阵列？
• RQ4 联合方法是否在计算效率上优于分别处理去马赛克与超分辨率？
• RQ5 该方法能否在不引入莫列波纹或颜色交错伪影的前提下，保持精细细节与色彩保真度？

主要发现

• 所提方法在测试集上达到31.4093 dB的平均PSNR，优于次佳方法（DemosaicNet + SRCNN）1.3 dB。
• 该方法实现平均SSIM为0.9476，显著高于次佳方法（30.1313 dB PSNR，0.9374 SSIM）。
• 视觉结果表明无颜色伪影或模糊现象，相比顺序方法（如FlexISP + SRCNN与SEM + SRCNN）具有更优的细节恢复能力。
• 在Titan X上，每张256×256图像的处理时间为619 ms，快于DemosaicNet仅去马赛克阶段的650 ms，证明了计算效率优势。
• 网络仅通过增加两层即可适配其他CFA模式，展现出良好的架构灵活性。
• 联合方法成功消除了顺序流水线中常见的颜色交错伪影与莫列波纹现象。