[论文解读] Formulating Camera-Adaptive Color Constancy as a Few-shot Meta-Learning Problem

Steven McDonagh, Sarah Parisot+5 more|arXiv (Cornell University)|Nov 28, 2018

Image Enhancement Techniques参考文献 51被引用 6

一句话总结

该论文通过利用色温构建与相机和光照条件相关的回归任务，将相机自适应色彩恒常性问题形式化为少样本元学习问题。该方法仅需10–20张标注图像即可实现对新相机的快速、高精度适应，性能达到当前最先进水平，且所需相机特定数据量仅为完全监督方法的极小部分。

ABSTRACT

Digital camera pipelines employ color constancy methods to estimate an unknown scene illuminant, in order to re-illuminate images as if they were acquired under an achromatic light source. Fully-supervised learning approaches exhibit state-of-the-art estimation accuracy with camera-specific labelled training imagery. Resulting models typically suffer from domain gaps and fail to generalise across imaging devices. In this work, we propose a new approach that affords fast adaptation to previously unseen cameras, and robustness to changes in capture device by leveraging annotated samples across different cameras and datasets. We present a general approach that utilizes the concept of color temperature to frame color constancy as a set of distinct, homogeneous few-shot regression tasks, each associated with an intuitive physical meaning. We integrate this novel formulation within a meta-learning framework, enabling fast generalisation to previously unseen cameras using only handfuls of camera specific training samples. Consequently, the time spent for data collection and annotation substantially diminishes in practice whenever a new sensor is used. To quantify this gain, we evaluate our pipeline on three publicly available datasets comprising 12 different cameras and diverse scene content. Our approach delivers competitive results both qualitatively and quantitatively while requiring a small fraction of the camera-specific samples compared to standard approaches.

研究动机与目标

• 解决在新未见相机上部署色彩恒常性模型时面临的域偏移问题。
• 减少监督色彩恒常性训练中对大规模、相机特定标注数据集的依赖。
• 仅使用每台相机少量标注样本，实现对新成像设备的快速适应。
• 通过元学习框架提升在多样化相机和光照条件下的泛化能力。
• 以物理色温作为任务锚点，将色彩恒常性形式化为一组同质的少样本回归任务。

提出的方法

• 该方法将每个少样本任务定义为特定相机与色温（CCT）区间的组合，基于图像级色温估计获得。
• 采用元学习框架（MAML风格）训练一个共享模型，使其能仅用少量支持样本快速适应新的相机-光照组合。
• 模型在来自多台相机和数据集的任务分布上进行训练，每个任务代表一个独特的相机-CCT组合。
• 使用神经网络主干网络（如SqueezeNet或ResNet）回归光照估计结果，损失函数基于预测与真实光照之间的角度误差计算。
• 通过按相机对图像进行色温聚类，构建任务分布，形成离散且同质的回归任务。
• 通过利用跨相机数据和元优化初始化，实现类似零样本的泛化能力，推广至新相机。

实验结果

研究问题

• RQ1 色彩恒常性能否被有效形式化为少样本元学习问题，从而降低对大规模相机特定数据集的依赖？
• RQ2 将色温作为任务锚点在多样的相机和光照条件下如何提升模型泛化能力？
• RQ3 元学习模型在仅使用10–20张图像的情况下，对新未见相机的适应能力达到何种程度？
• RQ4 与标准微调和完全监督基线方法相比，所提方法在准确率和数据效率方面表现如何？
• RQ5 不同任务定义策略（如CCT分箱）对模型性能和泛化能力有何影响？

主要发现

• 所提出的Meta-AWB方法在三个基准数据集（Gehler-Shi、Cube、MIT-Adobe FiveK）上仅使用每台测试相机10–20张相机特定样本，即达到具有竞争力的性能。
• 在Gehler-Shi数据集上，Meta-AWB在K=10时达到3.07°的平均角度误差，显著优于标准微调方法（18.76°）在挑战性测试图像上的表现。
• 在Cube数据集上，Meta-AWB在K=10时达到1.63°的平均误差，超越以往的少样本和无监督方法。
• 与完全监督方法相比，该方法将所需相机特定数据量减少超过90%，同时保持了最先进水平的准确率。
• Meta-AWB在12种不同相机和多样的场景内容上均表现出稳健的泛化能力，证明了其强大的跨设备迁移能力。
• 消融实验表明，通过色温分箱定义任务能显著提升学习效率和模型泛化能力。