[论文解读] DIFAR: Deep Image Formation and Retouching

Seán Moran, Greg Slabaugh|arXiv (Cornell University)|Nov 29, 2019

Image and Signal Denoising Methods被引用 2

一句话总结

DIFAR 是一种参数高效的深度神经网络，通过集成多尺度上下文感知去噪/去马赛克模块和全局润饰模块，取代传统的图像信号处理（ISP）流水线，在三星 S7 和 MIT-Adobe 5k 等数据集上，于客观和感知指标方面均实现了图像质量的最先进性能。

ABSTRACT

We present a novel neural network architecture for the image signal processing (ISP) pipeline. In a camera system, the ISP is a critical component that forms a high quality RGB image from RAW camera sensor data. Typical ISP pipelines sequentially apply a complex set of traditional image processing modules, such as demosaicing, denoising, tone mapping, etc. We introduce a new deep network that replaces all these modules, dubbed Deep Image Formation And Retouching (DIFAR). DIFAR introduces a multi-scale context-aware pixel-level block for local denoising/demosaicing operations and a retouching block for global refinement of image colour, luminance and saturation. DIFAR can also be trained for RGB to RGB image enhancement. DIFAR is parameter-efficient and outperforms recently proposed deep learning approaches in both objective and perceptual metrics, setting new state-of-the-art performance on multiple datasets including Samsung S7 and MIT-Adobe 5k.

研究动机与目标

• 用统一的深度学习架构取代复杂且顺序的传​​统 ISP 流水线。
• 通过联合优化局部和全局图像特征，提升 RAW 到 RGB 转换中的图像质量。
• 在减少模型参数的同时实现高性能，从而提升效率和可部署性。
• 支持 RAW 到 RGB 和 RGB 到 RGB 图像增强任务的端到端训练。
• 在客观和感知图像质量指标上均达到新的最先进水平。

提出的方法

• 引入一种多尺度上下文感知的像素级模块，利用空间和特征级上下文实现局部去噪和去马赛克。
• 采用独立的润饰模块，对整幅图像的颜色、亮度和饱和度进行全局优化。
• 设计一种统一的网络架构，取代传统的 ISP 模块（如去马赛克、去噪和色调映射）。
• 使用监督学习在 RAW 图像及其对应的高质量 RGB 图像上进行端到端训练。
• 通过多目标损失函数，同时优化客观指标（如 PSNR、SSIM）和感知质量。
• 支持迁移学习和微调，用于 RGB 到 RGB 增强任务，且无需改变网络架构。

实验结果

研究问题

• RQ1 一个单一的深度神经网络能否有效取代整个传统 ISP 流水线并实现更优性能？
• RQ2 多尺度上下文建模在去马赛克和去噪中的局部图像重建方面有何提升作用？
• RQ3 全局润饰模块在局部操作之外，能在多大程度上提升感知图像质量？
• RQ4 所提出的架构是否在保持参数高效性的同时实现了最先进性能？
• RQ5 该模型能否在三星 S7 和 MIT-Adobe 5k 等多样化数据集上实现良好泛化？

主要发现

• DIFAR 在客观和感知图像质量指标上均优于近期提出的基于深度学习的 ISP 方法。
• 该模型在三星 S7 和 MIT-Adobe 5k 数据集上实现了最先进性能，树立了新的基准。
• DIFAR 展现出强大的参数效率，其可训练参数数量少于竞争模型，同时保持高性能。
• 局部多尺度上下文与全局润饰模块的结合，显著提升了图像重建与增强效果。
• 该框架成功泛化至 RGB 到 RGB 图像增强任务，展现出超越 RAW 到 RGB 转换的多功能性。
• 感知指标证实，DIFAR 生成的图像在视觉质量方面有明显提升，包括更准确的色彩还原和更低的噪声。