[论文解读] Identifying Unknown Instances for Autonomous Driving

Kelvin Wong, Shenlong Wang+3 more|arXiv (Cornell University)|Oct 24, 2019

Advanced Neural Network Applications参考文献 49被引用 16

一句话总结

本文提出了一种名为开放集实例分割（OSIS）的新深度学习方法，用于激光雷达点云处理，通过将点投影到类别无关的嵌入空间以实现对已知和未知物体的分割。该方法在两个大规模自动驾驶数据集上优于基线模型，在开放集实例分割任务中达到最先进性能，通过联合利用实例感知嵌入与几何线索实现。

ABSTRACT

In the past few years, we have seen great progress in perception algorithms, particular through the use of deep learning. However, most existing approaches focus on a few categories of interest, which represent only a small fraction of the potential categories that robots need to handle in the real-world. Thus, identifying objects from unknown classes remains a challenging yet crucial task. In this paper, we develop a novel open-set instance segmentation algorithm for point clouds which can segment objects from both known and unknown classes in a holistic way. Our method uses a deep convolutional neural network to project points into a category-agnostic embedding space in which they can be clustered into instances irrespective of their semantics. Experiments on two large-scale self-driving datasets validate the effectiveness of our proposed method.

研究动机与目标

• 解决自动驾驶感知系统中检测和分割未知物体的关键挑战。
• 开发一种整体性的开放集实例分割框架，无需事先了解类别知识即可处理已知和未知类别。
• 使机器人能够基于人类视觉的感知分组原理，对新出现的物体进行感知并聚合成连贯的实例。
• 提升在现实驾驶场景中的鲁棒性，其中频繁出现意外或罕见物体（如动物、施工设备）等。
• 将实例感知嵌入与几何先验相结合，以实现对未知实例的可靠聚类。

提出的方法

• 一种类别无关的实例嵌入网络将3D激光雷达点投影到共享嵌入空间，使得同一实例中的点无论语义类别如何都能被聚类。
• 该方法使用判别性损失优化实例内部的嵌入相似性以及实例之间的差异性。
• 通过边界框回归来优化预测的实例位置，提升定位精度。
• 为每个原型预测标量方差，以建模嵌入空间中的不确定性，增强聚类的鲁棒性。
• 通过将点嵌入与已知类别的原型特征进行距离匹配，识别已知实例。
• 剩余未分配的点则使用DBSCAN算法，结合嵌入距离与3D几何距离的混合距离度量，聚类为未知实例。

实验结果

研究问题

• RQ1 深度学习模型能否在不依赖类别特定监督的前提下，有效分割激光雷达点云中的已知和未知物体实例？
• RQ2 如何在深度神经网络中利用感知分组原理，从未知物体中形成连贯的实例？
• RQ3 何种嵌入特征与几何先验的组合能实现对未知实例最鲁棒的聚类？
• RQ4 将自顶向下的类别感知特征与自底向上的实例聚类相结合，如何提升开放集分割性能？
• RQ5 实例感知嵌入在未知实例聚类中，相较于其他点级特征（如3D位置或语义特征）能多大程度上实现性能超越？

主要发现

• OSIS在nuScenes和TOR4D两个数据集上均达到最先进性能，显著优于所有基线模型的开放集实例分割表现。
• 在TOR4D验证集上，OSIS实现了68.6%的未知实例质量（UQ）、73.7%的召回质量（RQ）和93.1%的分割质量（SQ），显著优于其他方法。
• 消融实验表明，判别性损失、边界框回归和原型方差预测三个组件均对性能提升有显著贡献。
• 实例感知嵌入在未知实例聚类中优于其他特征（如3D位置、语义特征），实现70.3%的UQ，而语义特征仅为16.1%。
• 通过学习权重β将嵌入距离与3D位置距离相结合，可进一步提升性能，最优性能出现在β=0.5时。
• OSIS成功将罕见物体（如马匹和施工车辆）作为未知实例进行分割，而基线方法因误分类或噪声而失败。