[论文解读] Image Enhancement and Object Recognition for Night Vision Surveillance

Aashish Bhandari, Aayush Kafle+3 more|arXiv (Cornell University)|Jun 10, 2020

Image Enhancement Techniques参考文献 9被引用 5

一句话总结

本文提出了一种夜间视觉监控系统，通过基于对比度的空域技术——特别是CLAHE——增强红外（IR）图像，随后利用卷积神经网络（CNN）进行目标分类。该方法提升了图像对比度和信息含量，实现了85%的显著分类准确率，优于其他增强技术，证明了CLAHE作为低光照目标识别预处理步骤的有效性。

ABSTRACT

Object recognition is a critical part of any surveillance system. It is the matter of utmost concern to identify intruders and foreign objects in the area where surveillance is done. The performance of surveillance system using the traditional camera in daylight is vastly superior as compared to night. The main problem for surveillance during the night is the objects captured by traditional cameras have low contrast against the background because of the absence of ambient light in the visible spectrum. Due to that reason, the image is taken in low light condition using an Infrared Camera and the image is enhanced to obtain an image with higher contrast using different enhancing algorithms based on the spatial domain. The enhanced image is then sent to the classification process. The classification is done by using convolutional neural network followed by a fully connected layer of neurons. The accuracy of classification after implementing different enhancement algorithms is compared in this paper.

研究动机与目标

• 为解决因低对比度和单色红外图像导致的低光照及夜间监控中目标识别性能差的问题。
• 评估并比较多种图像增强技术（如HE、AHE和CLAHE）对后续目标分类准确率的影响。
• 在硬件资源有限（4GB内存，无GPU）的标准笔记本电脑上，使用迁移学习实现基于CNN的分类模型。
• 使用均方误差（MSE）、峰值信噪比（PSNR）和熵等指标量化增强效果，客观评估图像质量的提升。
• 证明在夜间视觉应用中，使用CLAHE进行预处理可显著提高分类准确率。

提出的方法

• 使用新型迭代校准法校准红外Pi-Camera，通过针孔相机模型和DLT算法校正镜头畸变。
• 应用空域图像增强技术：全局直方图均衡化（HE）、自适应HE（AHE）和对比度受限AHE（CLAHE）。
• 利用相机的内参和外参，基于将三维世界坐标映射到二维图像点的公式 $ \mu x = K[R|t]X $ 对图像进行校正。
• 使用MSE、PSNR和熵量化增强质量，引入PSNR-VAR以评估像素方差和对比度拉伸效果。
• 使用TensorFlow训练基于迁移学习的CNN分类器，采用带有softmax激活函数的全连接层进行类别预测。
• 在四种条件下比较分类准确率：无增强、HE、AHE和CLAHE，使用相同的数据集和模型架构。

实验结果

研究问题

• RQ1 使用CLAHE进行图像增强是否能显著提升低光照红外监控中的目标识别准确率？
• RQ2 在夜间视觉图像中，不同增强技术（HE、AHE、CLAHE）在MSE、PSNR和熵方面有何比较差异？
• RQ3 在低资源系统（4GB内存，无GPU）上，使用迁移学习训练的CNN能否在增强后的红外图像上实现高分类准确率？
• RQ4 在非均匀照明白下，图像增强在多大程度上能保持或提升红外图像的视觉和统计质量？
• RQ5 图像增强指标（如PSNR、熵）与下游分类性能之间是否存在可测量的相关性？

主要发现

• CLAHE的MSE最低（264），PSNR最高（23.9154 dB），表明其在图像质量提升方面优于HE和AHE。
• CLAHE的PSNR-VAR最高（25.0872 dB），接近原始良好光照图像的PSNR-VAR（20.47 dB），表明其具有优异的对比度拉伸效果。
• 当使用CLAHE增强图像时，分类准确率从无增强时的58%提升至85%，实现了27%的显著提升。
• AHE和HE分别将准确率提升至74%和71%，但CLAHE显著优于二者，证实其在非均匀照明条件下的鲁棒性。
• 熵随增强而增加，但CLAHE在信息增益与视觉质量之间实现了平衡，避免了噪声的过度放大。
• 本研究证实，CLAHE是提升红外图像质量以用于基于CNN的夜间视觉系统目标分类的最有效预处理步骤。