[论文解读] Multi-Channel CNN-based Object Detection for Enhanced Situation Awareness

Shuo Liu, Zheng Liu|arXiv (Cornell University)|Nov 30, 2017

Advanced Neural Network Applications参考文献 21被引用 42

一句话总结

本文提出了一种基于多通道卷积神经网络（CNN）的目标检测框架，将可见光、中波红外（MWIR）和运动信息融合为三通道输入，以增强军事目标检测性能。通过在SENSIAC数据集上采用无监督图像融合与迁移学习，该方法在平均精度（AP）上达到98.34%，Top-1准确率达到98.90%，显著优于单模态和决策级融合方法。

ABSTRACT

Object Detection is critical for automatic military operations. However, the performance of current object detection algorithms is deficient in terms of the requirements in military scenarios. This is mainly because the object presence is hard to detect due to the indistinguishable appearance and dramatic changes of object's size which is determined by the distance to the detection sensors. Recent advances in deep learning have achieved promising results in many challenging tasks. The state-of-the-art in object detection is represented by convolutional neural networks (CNNs), such as the fast R-CNN algorithm. These CNN-based methods improve the detection performance significantly on several public generic object detection datasets. However, their performance on detecting small objects or undistinguishable objects in visible spectrum images is still insufficient. In this study, we propose a novel detection algorithm for military objects by fusing multi-channel CNNs. We combine spatial, temporal and thermal information by generating a three-channel image, and they will be fused as CNN feature maps in an unsupervised manner. The backbone of our object detection framework is from the fast R-CNN algorithm, and we utilize cross-domain transfer learning technique to fine-tune the CNN model on generated multi-channel images. In the experiments, we validated the proposed method with the images from SENSIAC (Military Sensing Information Analysis Centre) database and compared it with the state-of-the-art. The experimental results demonstrated the effectiveness of the proposed method on both accuracy and computational efficiency.

研究动机与目标

• 解决在外观和尺度差异显著的复杂战场环境中检测小尺寸、低对比度军事目标的挑战。
• 在训练数据有限且计算资源受限的嵌入式军事平台典型场景下，提升目标检测性能。
• 通过融合可见光、热成像（MWIR）和运动（短时序）成像模态的互补信息，增强态势感知能力。
• 开发一种无监督、端到端可训练的框架，将图像融合与先进的基于CNN的目标检测技术相结合。
• 通过迁移学习和多光谱融合，优化检测精度与计算效率，实现实时嵌入式系统部署。

提出的方法

• 将三种输入模态——可见光、中波红外（MWIR）和运动（短时序差分）——融合为单张三通道图像，供CNN输入。
• 采用加权平均策略进行无监督像素级图像融合，将可见光与MWIR图像结合，同时保留空间和强度特征。
• 以Faster R-CNN架构作为目标检测主干网络，利用区域建议网络（RPN）和ROI池化层进行边界框预测。
• 采用跨域迁移学习：在大规模可见光图像数据集（如ImageNet）上预训练，随后在较小的、融合后的SENSIAC数据集上微调，以缓解数据稀缺问题。
• 可视化最后一层卷积特征图，验证融合特征可增强目标表征与检测置信度。
• 将所提融合方法与独立单模态检测、两通道融合（可见光+MWIR）以及决策级融合进行对比，评估性能权衡。

实验结果

研究问题

• RQ1 可见光、热成像（MWIR）与运动信息的融合是否能提升复杂军事场景下的目标检测精度？
• RQ2 与单模态输入相比，无监督多光谱图像融合对基于CNN的目标检测器性能有何影响？
• RQ3 从大规模可见光数据集迁移学习是否能提升在小规模、融合后军事图像数据集上的检测性能？
• RQ4 与决策级融合和单模态检测相比，所提融合方法在精度与推理速度方面表现如何？
• RQ5 多通道输入的融合在多大程度上增强了对小尺寸或低对比度军事目标的特征表征能力？

主要发现

• 所提出的三通道融合方法在平均精度（AP）上达到98.34%，Top-1准确率达到98.90%，优于所有对比方法。
• 可见光-MWIR两通道融合的AP为97.37%，相比单模态检测有所提升，但低于完整的三通道融合。
• 单可见光图像检测器的AP为97.31%，表现出较强的基线性能，但仍被多通道融合方法超越。
• 决策级融合方法AP为97.52%，但推理速度最慢，每张图像耗时3.961秒，难以满足实时应用需求。
• 三通道方法在2,812帧测试集中仅产生16个误报，表明检测具有高度可靠性。
• 特征图可视化结果证实，融合输入显著增强了目标表征，尤其对小尺寸和低对比度目标效果明显。