[论文解读] Class-specific Anchoring Proposal for 3D Object Recognition in LIDAR and RGB Images

Amir Hossein Raffiee, Humayun Irshad|arXiv (Cornell University)|Jul 22, 2019

Advanced Neural Network Applications参考文献 24被引用 5

一句话总结

本文提出类特定锚框建议（Class-specific Anchoring Proposal, CAP），一种基于K-means与高斯混合模型（GMM）的聚类策略，用于优化RGB和LIDAR数据中3D目标检测的锚框先验。通过从KITTI数据集中的物体分布中学习类特定的锚框尺寸与长宽比，CAP在骑行人和行人上的3D平均精度（AP）分别提升最高达12.1%与8.8%，最优聚类数为n=5（骑行人/行人）和n=2（汽车）。

ABSTRACT

Detecting objects in a two-dimensional setting is often insufficient in the context of real-life applications where the surrounding environment needs to be accurately recognized and oriented in three-dimension (3D), such as in the case of autonomous driving vehicles. Therefore, accurately and efficiently detecting objects in the three-dimensional setting is becoming increasingly relevant to a wide range of industrial applications, and thus is progressively attracting the attention of researchers. Building systems to detect objects in 3D is a challenging task though, because it relies on the multi-modal fusion of data derived from different sources. In this paper, we study the effects of anchoring using the current state-of-the-art 3D object detector and propose Class-specific Anchoring Proposal (CAP) strategy based on object sizes and aspect ratios based clustering of anchors. The proposed anchoring strategy significantly increased detection accuracy's by 7.19%, 8.13% and 8.8% on Easy, Moderate and Hard setting of the pedestrian class, 2.19%, 2.17% and 1.27% on Easy, Moderate and Hard setting of the car class and 12.1% on Easy setting of cyclist class. We also show that the clustering in anchoring process also enhances the performance of the regional proposal network in proposing regions of interests significantly. Finally, we propose the best cluster numbers for each class of objects in KITTI dataset that improves the performance of detection model significantly.

研究动机与目标

• 通过解决具有高度尺寸与长宽比可变性的物体的锚框不匹配问题，提升自动驾驶场景中3D目标检测的性能。
• 解决当前先进3D检测器（如AVOD）中固定锚框先验的局限性，这些检测器因尺寸多样性而在行人和骑行人上表现欠佳。
• 通过在KITTI数据集中对物体尺寸进行聚类，学习类特定的锚框先验，以优化锚框建议。
• 通过为区域建议网络（RPN）提供更优的锚框几何先验，提升其区域建议性能。
• 确定每类物体的最优聚类数（n），以在不显著增加计算成本的前提下最大化检测精度。

提出的方法

• 对KITTI数据集中每类物体的3D边界框尺寸（宽度、高度、长度）应用K-means与高斯混合模型（GMM）聚类。
• 使用聚类中心作为3D区域建议网络（RPN）的锚框先验，以类特定先验替代固定的锚框模板。
• 将类特定锚框策略集成到AVOD框架中，该框架融合RGB与鸟瞰图（BEV）LIDAR特征以实现3D检测。
• 在KITTI的3D检测基准上，使用3D交并比（IoU）阈值为0.5，对修改后的CAP-AVOD模型进行训练与评估。
• 系统性地将聚类数（n）从1到5进行变化，评估其在Easy、Moderate与Hard检测设置下对平均精度（AP）的影响。
• 使用每个聚类的平均锚框尺寸定义先验锚框形状，从而提升与各类物体实际几何形状的匹配度。

实验结果

研究问题

• RQ1 与固定锚框先验相比，通过聚类实现的类特定锚框在3D目标检测精度上如何提升？
• RQ2 在KITTI数据集中，各类物体（汽车、行人、骑行人）的锚框先验最优聚类数（n）是多少？
• RQ3 基于聚类的锚框策略是否提升了区域建议网络（RPN）在提出相关感兴趣区域方面的性能？
• RQ4 为何性能增益在不同物体类别间差异显著，尤其是对尺寸可变性高的行人与骑行人？
• RQ5 所提出的锚框策略是否能在不显著增加计算成本的情况下保持高精度？

主要发现

• 通过K-means与GMM聚类实现的类特定锚框，使行人类别在Easy、Moderate与Hard设置下的3D平均精度（AP）分别提升了7.19%、8.13%与8.8%。
• 对于骑行人类别，Easy设置下的AP提升了12.1%，由于其尺寸与长宽比高度可变，提升幅度最大。
• 汽车类别在Easy、Moderate与Hard设置下的AP分别提升了2.19%、2.17%与1.27%，在n=2个聚类时达到最优性能。
• 由于锚框几何先验更优，RPN性能显著提升，从而生成了更准确的区域建议。
• 最优聚类数被确定为：骑行人与行人n=5，汽车n=2，依据性能饱和度与AP趋势。
• 当骑行人与行人的聚类数超过n=5时，收益递减甚至出现性能下降，原因包括异常值影响与计算开销增加。