[论文解读] Aerial Vehicle Tracking by Adaptive Fusion of Hyperspectral Likelihood Maps

Burak Uzkent, Aneesh Rangnekar+1 more|arXiv (Cornell University)|Jul 12, 2017

Video Surveillance and Tracking Methods参考文献 27被引用 6

一句话总结

本文提出一种实时高光谱车辆追踪方法（HLT），通过自适应融合多光谱波段的似然图，增强前景-背景分离能力，无需离线分类器或大量超参数调优。通过在线学习生成式目标模型并优化波段分组，HLT在保持1.43 Hz实时运行的同时，检测性能达到最先进水平。

ABSTRACT

Hyperspectral cameras can provide unique spectral signatures for consistently distinguishing materials that can be used to solve surveillance tasks. In this paper, we propose a novel real-time hyperspectral likelihood maps-aided tracking method (HLT) inspired by an adaptive hyperspectral sensor. A moving object tracking system generally consists of registration, object detection, and tracking modules. We focus on the target detection part and remove the necessity to build any offline classifiers and tune a large amount of hyperparameters, instead learning a generative target model in an online manner for hyperspectral channels ranging from visible to infrared wavelengths. The key idea is that, our adaptive fusion method can combine likelihood maps from multiple bands of hyperspectral imagery into one single more distinctive representation increasing the margin between mean value of foreground and background pixels in the fused map. Experimental results show that the HLT not only outperforms all established fusion methods but is on par with the current state-of-the-art hyperspectral target tracking frameworks.

研究动机与目标

• 解决在低分辨率、遮挡和杂乱环境下，利用高光谱成像实现持续空中车辆追踪的挑战。
• 消除高光谱目标检测中对分类器离线训练的需求，并减少超参数调优。
• 开发一种自适应融合策略，保留从可见光到红外波段的判别性光谱信息。
• 通过智能分组高光谱波段以优化计算效率，实现实时处理。
• 通过在线学习生成式目标模型实现鲁棒检测，提升对视差和环境干扰的抗性。

提出的方法

• 利用基于前景-背景对比度的波段特定权重，自适应融合高光谱似然图，以增强判别能力。
• 在每个光谱波段在线学习生成式目标模型，避免离线分类器训练。
• 将相邻的高光谱波段（例如每组5个波段）合并为50维特征向量，以降低计算负载。
• 使用梯度积分图像加速似然图计算，并高效实现检测模块。
• 优化波段分组策略以最大化检测纯度，发现60个波段下12组（每组5个波段）为最优配置。
• 将检测模块集成至追踪框架中，实现1.43 Hz的运行速度，与先前的HFT追踪器性能相当。

实验结果

研究问题

• RQ1 自适应融合高光谱似然图是否能在无需离线分类器的情况下提升空中追踪中的目标检测性能？
• RQ2 与固定权重融合相比，光谱波段的自适应加权在检测准确性和鲁棒性方面表现如何？
• RQ3 为实现实时性能与检测纯度，高光谱波段组的最佳数量与大小为何？
• RQ4 在线生成式目标特征建模是否在动态空中追踪场景中优于传统离线训练方法？
• RQ5 所提方法在多大程度上减少了对外部数据源（如道路地图或预训练模型）的依赖？

主要发现

• 所提出的HLT追踪器在使用12个波段组时，实现64.37%的轨迹纯度和57.49%的目标纯度，优于所有测试的分组策略。
• 使用12组（每组5个相邻波段）时检测性能最高，而20组（每组3个波段）和6组（每组10个波段）表现较差，因特征表示判别性不足。
• 检测模块每帧耗时0.37秒，其中0.35秒用于检测，与HFT追踪器的1.43 Hz运行速率一致。
• 自适应融合方法生成的似然图对比度优于经典等权重融合，提升了复杂场景中的目标定位能力。
• 该方法保留了关键光谱信息（如真实停车场数据中蓝波段的高判别能力），避免因降维导致的信息损失。
• 由于在光谱空间中实现了前景-背景分离，该方法对3D视差和环境干扰具有鲁棒性，且无需依赖外部数据源。