[论文解读] Sensor-Independent Illumination Estimation for DNN Models

Mahmoud Afifi, Michael S. Brown|arXiv (Cornell University)|Dec 14, 2019

Color Science and Applications参考文献 42被引用 39

一句话总结

论文提出一个传感器无关的照明估计框架，学习一个相机无关的工作空间，使单个深度神经网络能够在未见传感器下估计场景光源，无需对每个传感器重新训练。

ABSTRACT

While modern deep neural networks (DNNs) achieve state-of-the-art results for illuminant estimation, it is currently necessary to train a separate DNN for each type of camera sensor. This means when a camera manufacturer uses a new sensor, it is necessary to retrain an existing DNN model with training images captured by the new sensor. This paper addresses this problem by introducing a novel sensor-independent illuminant estimation framework. Our method learns a sensor-independent working space that can be used to canonicalize the RGB values of any arbitrary camera sensor. Our learned space retains the linear property of the original sensor raw-RGB space and allows unseen camera sensors to be used on a single DNN model trained on this working space. We demonstrate the effectiveness of this approach on several different camera sensors and show it provides performance on par with state-of-the-art methods that were trained per sensor.

研究动机与目标

• 解决在照明估计中需要对每个相机传感器重新训练 DNN 的需求。
• 学习一个能保持原始 RGB 数据线性的传感器无关工作空间。
• 使未见传感器能够使用仅在学习空间中训练的单一 DNN。
• 展示在多个数据集上的一般化能力和具有竞争力的性能。

提出的方法

• 两网络结构：一个传感器映射网络和一个照明估计网络，端到端训练。
• 学习一个 3x3 矩阵 M，将输入的 raw-RGB 映射到传感器无关的空间；该空间中的照明通过 M^{-1} 转换回输入空间。
• 使用一个带有两个可学习参数的 RGB-uv 直方图块来捕捉作为输入特征的颜色分布。
• 传感器映射网络输出一个 3x3 矩阵 V，重塑为 M，并归一化以确保可逆性和稳定性。
• 照明估计网络输出在学习空间中的映射照明 1_m；通过对 1_m 应用 M^{-1}，得到原始传感器空间中的最终照明 1。
• 训练使用 Adam，目标函数为地面真值照明与在原始传感器空间中恢复的照明之间的角度误差。

实验结果

研究问题

• RQ1 一个传感器无关的框架能否在不对每个传感器重新训练的情况下估计多种传感器的照明？
• RQ2 学习的传感器无关空间对未见相机传感器的泛化能力如何？
• RQ3 所提出的方法在标准数据集上的表现与传感器特定方法及其他传感器无关方法相比如何？
• RQ4 RGB-uv 直方图特征和学习映射对估计精度的影响是什么？

主要发现

• 该方法在多个数据集上实现了具有竞争力的角误差性能，接近于最先进的传感器特定方法。
• 它对未见相机传感器表现出强泛化能力，超过了许多统计方法和若干学习基线。
• 该框架能够利用来自不同传感器的图像来训练单一模型，而无需传感器特定的微调。
• 在 NUS 8-Cameras、Gehler-Shi、Cube、Cube+ 和 INTEL-TUT 数据集上的实验结果显示了稳健的跨传感器性能。