[论文解读] Learning Raw Image Denoising with Bayer Pattern Unification and Bayer Preserving Augmentation

Jiaming Liu, Chi-Hao Wu+9 more|arXiv (Cornell University)|Apr 29, 2019

Image and Signal Denoising Methods参考文献 30被引用 5

一句话总结

本文提出了 BayerUnify 和 BayerAug——用于基于深度学习的原始图像去噪的新型数据预处理与增强技术。通过将多种拜耳模式统一为单一标准，并支持几何上有效的增强操作，该方法可在异构数据集上训练出单一鲁棒模型，在 NTIRE 2019 真实图像去噪挑战赛中实现 52.11 dB 的 PSNR 和 0.9969 的 SSIM，达到当前最先进水平。

ABSTRACT

In this paper, we present new data pre-processing and augmentation techniques for DNN-based raw image denoising. Compared with traditional RGB image denoising, performing this task on direct camera sensor readings presents new challenges such as how to effectively handle various Bayer patterns from different data sources, and subsequently how to perform valid data augmentation with raw images. To address the first problem, we propose a Bayer pattern unification (BayerUnify) method to unify different Bayer patterns. This allows us to fully utilize a heterogeneous dataset to train a single denoising model instead of training one model for each pattern. Furthermore, while it is essential to augment the dataset to improve model generalization and performance, we discovered that it is error-prone to modify raw images by adapting augmentation methods designed for RGB images. Towards this end, we present a Bayer preserving augmentation (BayerAug) method as an effective approach for raw image augmentation. Combining these data processing technqiues with a modified U-Net, our method achieves a PSNR of 52.11 and a SSIM of 0.9969 in NTIRE 2019 Real Image Denoising Challenge, demonstrating the state-of-the-art performance. Our code is available at https://github.com/Jiaming-Liu/BayerUnifyAug.

研究动机与目标

• 解决在具有不同拜耳模式的异构原始图像数据集上训练单一去噪模型的挑战。
• 克服将标准 RGB 数据增强技术应用于原始图像时的局限性，此类方法可能扭曲空间关系并降低性能。
• 通过引入领域特定的预处理与增强技术，提升原始图像去噪中模型的泛化能力与性能。

提出的方法

• BayerUnify 使用翻转和裁剪操作，将不同拜耳模式（如 RGGB、BGGR、GRBG）统一为单一标准（BGGR），同时保持空间结构。
• BayerAug 通过应用模式感知的变换，实现在原始图像上的几何数据增强（如翻转、裁剪），确保拜耳网格的物理一致性。
• 该方法将原始图像处理为四通道 RGGB 张量，确保预处理与增强不会破坏底层传感器模式。
• 采用改进的 U-Net 架构，包含残差块与 PReLU 激活函数，替代标准卷积以提升特征学习能力。
• 模型训练采用按元数据（如相机型号）划分的数据集，每个模型在 BayerUnify 标准化后，针对其输入模式进行专门化处理。
• 推理阶段首先应用 BayerUnify 对测试输入进行标准化，随后根据元数据分类结果进行模型集成。

实验结果

研究问题

• RQ1 如何有效统一具有多样化拜耳模式的原始图像数据集，以训练出单一且具备泛化能力的去噪模型？
• RQ2 将标准 RGB 风格的数据增强技术应用于原始图像数据会产生何种性能影响？
• RQ3 模式感知增强是否能够在保持原始图像空间与结构一致性的前提下，提升训练数据的多样性？
• RQ4 恰当的预处理与增强在多大程度上能提升原始图像去噪中的泛化能力与性能？
• RQ5 统一且增强的训练流程是否能在真实世界去噪基准测试中超越针对特定模式的模型？

主要发现

• 所提出的 BayerUnify 和 BayerAug 技术显著提升了模型性能，在 NTIRE 2019 真实图像去噪挑战赛（Track 1）中实现 52.11 dB 的 PSNR 与 0.9969 的 SSIM。
• 原始的预处理方式（如简单的通道重排）与原始增强方式会降低性能，导致 GRBG 模式下 PSNR 降至 42.78 dB，凸显了模式感知方法的必要性。
• 仅使用 BayerUnify 即可使 PSNR 相比原始统一方式提升 1.14 dB，证明其在保持不同拜耳模式间空间结构方面具有显著有效性。
• 将 BayerUnify 与 BayerAug 结合使用可获得最高性能，在 RGGB 数据上实现 51.95 dB 的 PSNR，较仅使用 BayerUnify 与原始增强方式提升 0.12 dB。
• 消融实验表明，不恰当的预处理与增强会引入伪影并降低泛化能力，验证了所提技术的必要性。
• 最终模型通过引入残差块与模型集成，达到当前最先进性能，证实了所提数据处理流程的有效性。