[论文解读] MetaISP -- Exploiting Global Scene Structure for Accurate Multi-Device Color Rendition

Matheus Albino Souza, Wolfgang Heidrich|arXiv (Cornell University)|Jan 1, 2023

Image Enhancement Techniques被引用 1

一句话总结

MetaISP 是一种轻量级深度学习模型，能够学习将一种智能手机的 RAW 图像转换为 RGB 输出，以模仿多种目标设备的色彩和对比度特性，采用设备特定嵌入、通过交叉协方差注意力机制建模的全局场景语义，以及元数据条件化。它在 PSNR、SSIM 和 ∆E∗ab76 上达到最先进性能，同时支持在未见过的设备上实现零样本推理。

ABSTRACT

Image signal processors (ISPs) are historically grown legacy software systems for reconstructing color images from noisy raw sensor measurements. Each smartphone manufacturer has developed its ISPs with its own characteristic heuristics for improving the color rendition, for example, skin tones and other visually essential colors. The recent interest in replacing the historically grown ISP systems with deep-learned pipelines to match DSLR's image quality improves structural features in the image. However, these works ignore the superior color processing based on semantic scene analysis that distinguishes mobile phone ISPs from DSLRs. Here, we present MetaISP, a single model designed to learn how to translate between the color and local contrast characteristics of different devices. MetaISP takes the RAW image from device A as input and translates it to RGB images that inherit the appearance characteristics of devices A, B, and C. We achieve this result by employing a lightweight deep learning technique that conditions its output appearance based on the device of interest. In this approach, we leverage novel attention mechanisms inspired by cross-covariance to learn global scene semantics. Additionally, we use the metadata that typically accompanies RAW images and estimate scene illuminants when they are unavailable.

研究动机与目标

• 为解决基于深度学习的 ISP 中缺乏准确、多设备色彩还原的问题，通过建模设备特定的视觉风格。
• 克服现有方法忽略全局场景语义以及移动 ISP 中语义感知色彩处理的局限性。
• 开发一个单一模型，能够在无需微调的情况下，为多款智能手机生成外观一致的输出。
• 仅通过元数据和学习到的设备嵌入，实现对新设备的零样本色彩转换。
• 通过整合白平衡估计和曝光/ISO 条件化，提升色彩准确性和感知质量。

提出的方法

• MetaISP 采用条件深度学习架构，以 RAW 输入和设备嵌入为条件，生成设备特定的色彩输出。
• 提出一种新颖的交叉协方差注意力机制，用于在图像块之间建模全局场景语义，增强上下文感知能力。
• 模型引入一个全局语义分支，利用来自多样化场景的预训练统计量对特征进行归一化，提升鲁棒性。
• 通过从设备嵌入派生的查询向量，对设备特定的外观进行条件化，该向量调制网络中的注意力图。
• 利用元数据（白平衡、ISO、曝光）引导色彩和对比度调整，并通过一个轻量级子网络估计缺失的光源。
• 该架构在三款智能手机的配对 RAW-sRGB 数据上端到端训练，实现设备风格之间的插值。

实验结果

研究问题

• RQ1 一个单一的深度学习模型能否准确再现多款智能手机 ISP 的独特色彩和对比度特性？
• RQ2 如何有效建模全局场景语义，以在超越局部块级处理的范围内提升色彩还原质量？
• RQ3 在不进行微调的情况下，设备特定视觉风格在多大程度上可以通过嵌入实现解耦和条件化？
• RQ4 模型能否在仅依赖元数据和学习到的设备表征的情况下，泛化到未见过的设备，而无需微调？
• RQ5 当此类信息缺失时，整合白平衡和曝光元数据在多大程度上能提升色彩准确性？

主要发现

• MetaISP 在 PSNR 上达到最先进性能，iPhone XR 上为 30.14 dB，Pixel 6 Pro 上为 25.49 dB，Samsung S22 上为 24.26 dB，优于先前方法。
• 在 iPhone XR 上将色彩差异（ΔE∗ab76）降低至 3.76，Pixel 6 Pro 上为 6.65，S22 上为 7.33，表明感知准确性高。
• 消融实验表明，全局语义分支（C）在 iPhone XR 上将 PSNR 提升 1.94 dB，并将 ΔE∗ab76 降低 2.97 个点，优于基线。
• 注意力机制（D）贡献显著，在 iPhone XR 上将 PSNR 提升 2.21 dB，并将 ΔE∗ab76 降低 0.86 个点。
• 在未进行训练的 Xiaomi C40 上进行零样本推理，结果在视觉上优于其原生 ISP，色彩更锐利，对比度更好。
• 当缺少白平衡元数据时，模型仍保持鲁棒性，通过轻量级子网络有效估计白平衡。