[论文解读] Learning Sensor Multiplexing Design through Back-propagation

Ayan Chakrabarti|arXiv (Cornell University)|May 23, 2016

Optical measurement and interference techniques参考文献 21被引用 29

一句话总结

本文通过将可微分的传感器层与用于图像重建的神经网络联合训练，提出了一种端到端学习数字相机中最佳颜色传感器复用模式的方法。通过采用软最大温度退火策略处理不可微分的通道选择问题，该方法学习到一种更优的稀疏颜色模式，在多种噪声水平下均优于传统的拜耳马赛克和近期的最先进设计，重建精度更高。

ABSTRACT

Recent progress on many imaging and vision tasks has been driven by the use of deep feed-forward neural networks, which are trained by propagating gradients of a loss defined on the final output, back through the network up to the first layer that operates directly on the image. We propose back-propagating one step further---to learn camera sensor designs jointly with networks that carry out inference on the images they capture. In this paper, we specifically consider the design and inference problems in a typical color camera---where the sensor is able to measure only one color channel at each pixel location, and computational inference is required to reconstruct a full color image. We learn the camera sensor's color multiplexing pattern by encoding it as layer whose learnable weights determine which color channel, from among a fixed set, will be measured at each location. These weights are jointly trained with those of a reconstruction network that operates on the corresponding sensor measurements to produce a full color image. Our network achieves significant improvements in accuracy over the traditional Bayer pattern used in most color cameras. It automatically learns to employ a sparse color measurement approach similar to that of a recent design, and moreover, improves upon that design by learning an optimal layout for these measurements.

研究动机与目标

• 实现数据驱动的传感器测量模式与计算推理算法的协同设计，以提升图像重建质量。
• 通过将离散传感器滤波器选择建模为带温度退火的可微分软最大操作，克服其不可微性问题。
• 学习一种优于手工设计模式（如拜耳）和近期稀疏设计的最优颜色测量空间布局。
• 证明传感器与重建网络的联合优化可在不同噪声条件下生成更高质量的彩色图像。
• 探索直接从数据中学习测量策略的可行性，而无需依赖专家设计的先验知识。

提出的方法

• 在每个像素处，传感器层被建模为对C种可能的颜色滤波器进行可微分的软最大操作，温度参数α逐步增加，以促进硬决策。
• 传感器层的可学习权重定义了每个像素位置所测量的颜色通道的空间模式。
• 一个双路径重建网络处理复用后的测量值：一条路径生成K个插值候选，另一条路径学习将它们加权融合为最终的颜色估计。
• 整个系统——包括传感器层和重建网络——通过反向传播和随机梯度下降进行端到端训练，以最小化重建损失（例如PSNR）。
• 温度退火调度使网络能够先探索多样的模式，随后收敛到离散且最优的配置。
• 该方法应用于标准RGB彩色相机去马赛克任务，其中传感器层学会优先选择全色和稀疏颜色测量。

实验结果

研究问题

• RQ1 是否可以使用可微分传感器层联合学习最优颜色复用模式与图像重建网络？
• RQ2 与传统或专家设计的传感器模式相比，端到端反向传播训练是否能获得更优的重建性能？
• RQ3 网络是否能自动发现有益的测量策略（如稀疏颜色采样）而无需显式监督？
• RQ4 所学模式在传感器测量噪声水平变化时的鲁棒性如何？
• RQ5 联合学习框架是否优于采用相似测量原理的最先进设计？

主要发现

• 所提方法在所有噪声水平下均显著优于传统拜耳模式的重建PSNR，在高噪声（STD=0.04）下最高提升达2.5 dB。
• 在所有分位数和噪声水平下，所学模式在PSNR上均优于[4]的近期稀疏设计，提升稳定在0.2–0.5 dB之间。
• 网络自动学习到一种全色测量策略，类似于[4]，但具有更优的空间布局，有效降低了色度噪声和混叠伪影。
• 在STD=0.01噪声水平下训练的模型具有良好的泛化能力，在广泛噪声条件（STD=0.0025至0.04）下均表现出优越性能。
• 软最大温度退火策略成功实现了对不可微分传感器层的端到端训练，使网络收敛到离散且高效的复用模式。
• 该方法表明，传感器设计可完全从数据中学习，无需专家先验，且在彩色图像重建任务中达到最先进性能。