[论文解读] Feature Descriptors for Tracking by Detection: a Benchmark

Alessandro Pieropan, Mårten Björkman+2 more|arXiv (Cornell University)|Jul 21, 2016

Advanced Image and Video Retrieval Techniques参考文献 18被引用 8

一句话总结

本文针对基于检测的跟踪任务，全面评估了10种局部特征描述子（包括SIFT、ORB、BRISK、AKAZE和KAZE）在区分度、跟踪精度和速度方面的性能。研究发现，ORB和BRISK等二值化描述子由于关键点数量更多，其性能可与SIFT和AKAZE相媲美；而GPU加速的AKAZE即使采用非线性滤波，也能实现实时性能，因此适用于对纹理和运动模糊具有鲁棒性的实时跟踪系统。

ABSTRACT

In this paper, we provide an extensive evaluation of the performance of local descriptors for tracking applications. Many different descriptors have been proposed in the literature for a wide range of application in computer vision such as object recognition and 3D reconstruction. More recently, due to fast key-point detectors, local image features can be used in online tracking frameworks. However, while much effort has been spent on evaluating their performance in terms of distinctiveness and robustness to image transformations, very little has been done in the contest of tracking. Our evaluation is performed in terms of distinctiveness, tracking precision and tracking speed. Our results show that binary descriptors like ORB or BRISK have comparable results to SIFT or AKAZE due to a higher number of key-points.

研究动机与目标

• 评估局部特征描述子在基于检测的跟踪任务中的性能，该任务在以往的基准测试中常被忽视。
• 解决缺乏专为跟踪应用设计的标准数据集和评估协议的问题。
• 提供AKAZE描述子的GPU优化实现，以实现与SIFT及其他描述子的公平性能比较。
• 提供可重用的评估框架，集成跟踪器并公开代码，以支持未来研究。
• 根据在运动模糊、遮挡和光照变化等实际挑战下的跟踪性能，为实践者提供描述子选择指导。

提出的方法

• 从已有的跟踪数据集中收集了47段视频序列，并以标准化格式标注了真实边界框。
• 将10种广泛使用的特征描述子（SIFT、ORB、BRISK、AKAZE、KAZE、BRIEF等）集成到最先进的基于关键点的2D跟踪器中。
• 通过首帧特征匹配的查全率-查准率曲线评估区分度。
• 通过交并比（IoU）测量在所有序列中低、中、高精度阈值下的跟踪精度。
• 使用CPU和GPU实现，对检测、提取和匹配步骤的执行时间进行性能分析。
• 实现基于CUDA的AKAZE版本，以评估其在GPU上的性能，并与GPU优化的SIFT进行比较。

实验结果

研究问题

• RQ1 在基于检测的跟踪流水线中，不同局部特征描述子在区分度、跟踪精度和速度方面的表现如何？
• RQ2 ORB和BRISK等二值化描述子在实时跟踪场景中，其性能在多大程度上可与SIFT和AKAZE相匹配？
• RQ3 与基于高斯滤波的SIFT相比，GPU加速如何影响基于非线性滤波的描述子（如AKAZE）的性能？
• RQ4 哪些描述子对运动模糊、遮挡、尺度变化和光照变化等常见跟踪挑战最具鲁棒性？
• RQ5 GPU优化的AKAZE实现是否能在保持高区分度和跟踪精度的同时实现实时性能？

主要发现

• ORB和BRISK等二值化描述子由于检测到的关键点数量更多，其跟踪精度可与SIFT和AKAZE相媲美。
• AKAZE和SIFT在小到中等物体变换及运动模糊条件下表现出更优的区分度和跟踪性能。
• AKAZE对尺度变化和光照变化较为敏感，但在低纹理物体和相机与物体距离恒定的序列中表现良好。
• ORB和BRISK在高运动模糊条件下表现出更强的鲁棒性，在相机或物体显著运动的序列中优于SIFT和AKAZE。
• GPU加速的AKAZE实现性能可与GPU优化的SIFT相媲美，表明非线性滤波技术可在GPU上有效并行化。
• 所有评估代码、数据集以及基于CUDA的AKAZE实现均已公开发布，以支持可复现性和未来基准测试。