[论文解读] Convolutional Mean: A Simple Convolutional Neural Network for Illuminant Estimation

Han Gong|arXiv (Cornell University)|Jan 14, 2020

Color Science and Applications被引用 7

一句话总结

本文提出卷积均值（Convolutional Mean, CM），一种仅含1.1K参数的轻量级卷积神经网络，通过$48\times32$缩略图图像估计场景光照。通过结合两个具有可学习权重的逐通道全局平均池化操作的卷积层，CM实现每张图像1 ms的推理速度——比当前最先进方法快3–3750倍——同时在公开数据集上达到与之相当的精度。

ABSTRACT

We present Convolutional Mean (CM) - a simple and fast convolutional neural network for illuminant estimation. Our proposed method only requires a small neural network model (1.1K parameters) and a 48 x 32 thumbnail input image. Our unoptimized Python implementation takes 1 ms/image, which is arguably 3-3750x faster than the current leading solutions with similar accuracy. Using two public datasets, we show that our proposed light-weight method offers accuracy comparable to the current leading methods' (which consist of thousands/millions of parameters) across several measures.

研究动机与目标

• 解决智能手机等实时嵌入式系统中对快速、轻量级光照估计的需求。
• 克服现有手工设计与基于深度学习的光照估计方法在速度与精度之间的权衡。
• 通过最小化模型大小与推理时间，实现即时模型加载与实时处理（≥30 FPS）。
• 证明仅使用少量可学习参数与低分辨率输入的极简神经网络亦可实现具有竞争力的精度。
• 为工业部署提供实用替代方案，尤其适用于计算预算与初始化延迟为关键约束的场景。

提出的方法

• 使用带有1×1与3×3卷积核的两层卷积神经网络，从$48\times32$ RGB缩略图中提取空间与通道特征。
• 在第一层卷积后应用ReLU激活函数，引入非线性并增强特征区分能力。
• 在第一层卷积后应用最大池化，以减少空间维度并提升特征不变性。
• 实现一种可学习的、加权的逐通道全局平均池化层，通过强调强度贡献更高的区域来融合特征。
• 使用公开数据集中的标注光照真值数据，通过端到端监督学习训练网络。
• 通过极少数参数（1.1K）优化网络，确保快速加载与低计算成本。

实验结果

研究问题

• RQ1 仅含1.1K参数的极小卷积神经网络能否实现高精度的光照估计？
• RQ2 在使用缩略图输入（$48\times32$）时，轻量级CNN是否在显著更快的速度下仍能超越或匹配更大、更复杂模型的精度？
• RQ3 与更简单的变体相比，引入非线性、多层结构以及保留阴影信息对性能有何影响？
• RQ4 与传统的灰度世界或灰度边缘方法相比，模型对更亮或更灰区域的关注在多大程度上提升了估计精度？
• RQ5 在训练集中不使用未裁剪的缩略图图像时，模型是否仍能有效训练？这对泛化能力有何影响？

主要发现

• 所提出的CM模型在未优化的Python实现下，每张图像处理速度达1 ms，比当前最先进方法快3–3750倍。
• 尽管模型极小（仅1.1K参数），CM在Gehler-Shi与NUS-WIDE数据集上，于多种评估指标下均达到与领先方法相当的精度。
• 消融实验表明，若移除ReLU、最大池化或仅使用单层卷积，性能将下降，证实了网络深度与非线性的关键作用。
• 使用RGB输入而非色度输入可保留对准确估计至关重要的阴影线索，因色度输入会显著降低性能。
• 在训练集中不包含未裁剪缩略图图像时，模型出现过拟合并泛化能力下降，凸显了使用真实输入变化进行数据增强的重要性。
• 所学特征的可视化显示，模型会选择性地关注更灰或更亮的区域，表明其具备一种与传统灰度世界或灰度边缘方法不同的、经学习的注意力机制。