[论文解读] Learning Deep Convolutional Networks for Demosaicing

Nai-Sheng Syu, Yu‐Sheng Chen+1 more|arXiv (Cornell University)|Feb 11, 2018

Image and Signal Denoising Methods参考文献 7被引用 57

一句话总结

本文提出两个端到端的 CNN 模型（DMCNN 和 DMCNN-VD）用于 Bayer CFA 图像的去马赛克，展示了最先进的结果并扩展到其他 CFA 和 SVEC 设置，包括联合 CFA 设计和去马赛克。

ABSTRACT

This paper presents a comprehensive study of applying the convolutional neural network (CNN) to solving the demosaicing problem. The paper presents two CNN models that learn end-to-end mappings between the mosaic samples and the original image patches with full information. In the case the Bayer color filter array (CFA) is used, an evaluation with ten competitive methods on popular benchmarks confirms that the data-driven, automatically learned features by the CNN models are very effective. Experiments show that the proposed CNN models can perform equally well in both the sRGB space and the linear space. It is also demonstrated that the CNN model can perform joint denoising and demosaicing. The CNN model is very flexible and can be easily adopted for demosaicing with any CFA design. We train CNN models for demosaicing with three different CFAs and obtain better results than existing methods. With the great flexibility to be coupled with any CFA, we present the first data-driven joint optimization of the CFA design and the demosaicing method using CNN. Experiments show that the combination of the automatically discovered CFA pattern and the automatically devised demosaicing method significantly outperforms the current best demosaicing results. Visual comparisons confirm that the proposed methods reduce more visual artifacts than existing methods. Finally, we show that the CNN model is also effective for the more general demosaicing problem with spatially varying exposure and color and can be used for taking images of higher dynamic ranges with a single shot. The proposed models and the thorough experiments together demonstrate that CNN is an effective and versatile tool for solving the demosaicing problem.

研究动机与目标

• 推动基于学习的去马赛克，以克服手工特征的局限性和传统方法的伪影。
• 开发将马赛克样本映射到完整彩色图像块的端到端 CNN 架构。
• 在 sRGB 和线性空间中展示改进，并探索去噪-去马赛克以及 CFA 设计优化。
• 展示对超越 Bayer 的 CFA 和 SVEC（空间可变曝光/颜色）设置的适应灵活性。

提出的方法

• 设计 DMCNN：一个三层 CNN，输入扩展为 33x33x3 的马赛克补丁；三层分别执行特征提取（128 个 9x9 过滤器）、非线性映射（64 个 1x1 过滤器）和重建（5x5 过滤器）；使用 ReLU 和 L2 损失。
• 开发 DMCNN-VD：一个非常深的 20 层 CNN，采用残差学习；每一层包括卷积、批归一化和 SELU 激活；最终层预测一个残差并加到双线性上采样的基线之上。
• 使用 Flickr500 数据集进行训练；使用 3x3 内核和 1 像素填充；MSRA 初始化；Adam 优化器；DMCNN-VD 中的残差学习。
• 扩展到非 Bayer 的 CFA 和 SVEC（空间可变曝光/颜色）模式；进行数据驱动的 CFA 设计和联合 CFA-去马赛克优化。

实验结果

研究问题

• RQ1 端到端的 CNN 能否直接从马赛克样本学习到有效的去马赛克特征，而无需手工先验吗？
• RQ2 更深的网络结合残差学习是否能在去马赛克质量上优于浅层 CNN？
• RQ3 CNN 基于去马赛克是否能在不同 CFA 设计之间泛化，并在 sRGB 与线性颜色空间中工作？
• RQ4 是否可行通过数据驱动学习来联合优化 CFA 设计与去马赛克？
• RQ5 CNN 方法是否能够处理带 SVEC 模式和更高动态范围场景的通用去马赛克？

主要发现

• DMCNN-VD 在 Kodak+McM 上达到 CPSNR 高达 41.05，显著领先于现有方法。
• DMCNN（浅层）具有竞争力但落后于最先进方法；深度与残差学习显著提升结果。
• 在 Flickr500 上训练的 CNN 模型具有良好泛化，在大多数设置中优于稀疏编码基线，并提供显著的速度优势（GPU 加速）。
• 数据驱动的 CFA 设计（DMCNN-VD-Pa）和 SVEC 去马赛克展示了能够为更好地伪影抑制联合优化 CFA 模式与去马赛克的能力。
• 对嘈杂/线性空间数据的迁移学习（DMCNN-VD-Tr）在嘈杂 MDD 数据上带来显著性能提升，体现实际适应性。