[论文解读] Active Control of Camera Parameters for Object Detection Algorithms

Yulong Wu, John K. Tsotsos|arXiv (Cornell University)|May 16, 2017

CCD and CMOS Imaging Sensors参考文献 23被引用 7

一句话总结

本文提出了一种主动控制相机参数（快门速度与电压增益）的方法，直接以目标检测性能为优化目标，而非通用的图像质量度量。通过在不同光照和相机设置下评估四种检测算法，作者证明该方法显著提升了平均平均精度（mAP），尤其在基于局部特征的模型（如DPM和BoW）中效果明显，最优设置下mAP最高提升达60%。

ABSTRACT

Camera parameters not only play an important role in determining the visual quality of perceived images, but also affect the performance of vision algorithms, for a vision-guided robot. By quantitatively evaluating four object detection algorithms, with respect to varying ambient illumination, shutter speed and voltage gain, it is observed that the performance of the algorithms is highly dependent on these variables. From this observation, a novel active control of camera parameters method is proposed, to make robot vision more robust under different light conditions. Experimental results demonstrate the effectiveness of our proposed approach, which improves the performance of object detection algorithms, compared with the conventional auto-exposure algorithm.

研究动机与目标

• 研究在不同光照条件下，目标检测算法对相机参数（如快门速度与电压增益）的敏感性。
• 解决在固定最优相机设置下训练的视觉算法中存在的传感器偏差问题。
• 开发一种新型主动控制框架，基于特定目标检测算法的性能来优化相机参数。
• 提升视觉引导机器人系统在真实光照条件下的鲁棒性与自适应能力。
• 证明基于性能的相机参数控制优于标准自动曝光算法。

提出的方法

• 通过在5种物体上调节光照（7个等级）、快门速度（8个等级）和电压增益（8个等级），构建了一个包含2,240张图像的自定义数据集。
• 通过在训练集上对四种目标检测算法（DPM、BoW、R-CNN、SPP-net）评估所有相机参数组合，预先计算了性能表格。
• 对性能表格应用可变σ（0.5、1、2）的高斯平滑算子，以减少噪声并提高优化稳定性。
• 通过最大化来自平滑性能表格的预测检测mAP，为每个物体和光照等级选择最优相机参数对（快门速度，增益）。
• 通过在测试集上将所选参数与内置自动曝光算法的检测性能进行比较，验证了该方法。
• 系统采用3×3核进行局部优化，通过多次训练/测试划分的平均结果以确保鲁棒性。

实验结果

研究问题

• RQ1 在不同环境光照下，相机参数（快门速度与电压增益）如何影响目标检测算法的性能？
• RQ2 传统自动曝光在低光照条件下在多大程度上会降低目标检测性能？
• RQ3 是否可以主动控制相机参数以最大化检测mAP，而非图像亮度或熵？
• RQ4 在参数变化下，基于局部特征的检测器（如DPM、BoW）与深度学习检测器（如R-CNN、SPP-net）的性能表现如何比较？
• RQ5 用于性能表格的最优平滑参数（σ）是什么，以在降噪与精度之间取得平衡？

主要发现

• 对于DPM，主动控制方法将mAP从自动曝光的0.48提升至σ=1时的0.60，相对提升23%。
• 对于BoW，mAP从0.38提升至0.51，相对增益达34%，表明其对相机参数高度敏感。
• R-CNN在主动控制下mAP从0.61略微下降至0.56，但在σ=1时性能稳定在0.60，表明对参数变化具有鲁棒性。
• SPP-net在主动控制下达到最高的mAP 0.69（σ=1），优于自动曝光的0.63，证明该方法对深度网络也有效。
• 性能提升在基于局部特征的算法（如DPM、BoW）中最为显著，可能因其对曝光和噪声敏感。
• 无单一σ值始终优于其他值，但σ=1在所有算法中均提供了最均衡且高效的结果。