[论文解读] 4D Unsupervised Object Discovery

Yuqi Wang, Yuntao Chen+1 more|arXiv (Cornell University)|Oct 10, 2022

Advanced Neural Network Applications被引用 7

一句话总结

本文提出4D无监督目标发现，这是一种新型任务，通过时间序列数据在无手动标注的情况下，联合检测RGB图像中的2D目标和LiDAR点云中的3D实例。该方法提出在3D ClusterNet与2D定位网络之间进行联合迭代优化，利用时空一致性和运动线索，在Waymo开放数据集上实现了与全监督方法相当的性能。

ABSTRACT

Object discovery is a core task in computer vision. While fast progresses have been made in supervised object detection, its unsupervised counterpart remains largely unexplored. With the growth of data volume, the expensive cost of annotations is the major limitation hindering further study. Therefore, discovering objects without annotations has great significance. However, this task seems impractical on still-image or point cloud alone due to the lack of discriminative information. Previous studies underlook the crucial temporal information and constraints naturally behind multi-modal inputs. In this paper, we propose 4D unsupervised object discovery, jointly discovering objects from 4D data -- 3D point clouds and 2D RGB images with temporal information. We present the first practical approach for this task by proposing a ClusterNet on 3D point clouds, which is jointly iteratively optimized with a 2D localization network. Extensive experiments on the large-scale Waymo Open Dataset suggest that the localization network and ClusterNet achieve competitive performance on both class-agnostic 2D object detection and 3D instance segmentation, bridging the gap between unsupervised methods and full supervised ones. Codes and models will be made available at https://github.com/Robertwyq/LSMOL.

研究动机与目标

• 为解决3D和2D目标检测中人工标注的高昂成本，提出在复杂场景中实现无监督发现。
• 探索多模态4D数据（RGB图像与3D点云）中时间信息的未开发潜力，用于无监督目标发现。
• 通过利用2D图像和3D点云之间的互补线索，弥合无监督与全监督目标检测之间的性能差距。
• 开发一种实用的端到端框架，无需人工标注的边界框，联合优化2D定位与3D实例分割。

提出的方法

• 提出一种用于LiDAR点云上3D实例分割的ClusterNet，初始阶段利用连续点云中的运动线索估计场景流进行训练。
• 引入一个2D定位网络，用于RGB图像中的类别无关目标检测，通过从投影的3D实例片段生成的伪标签进行训练。
• 采用联合迭代优化：每轮迭代交替使用3D投影结果优化2D定位网络，并利用2D检测结果改进3D ClusterNet。
• 利用连续帧之间的时空一致性作为约束，提升伪标签的可靠性，并减少两种模态中的噪声。
• 采用早停策略和自适应锚点采样策略，以减少初始训练阶段静态物体带来的误检。
• 采用最小点数阈值（默认为5）过滤虚假的3D实例，提升分割质量。

实验结果

研究问题

• RQ1 4D数据（带时间序列的RGB图像与3D点云）能否在无任何人工标注的情况下实现无监督目标发现？
• RQ2 如何有效利用2D图像（纹理、颜色）与3D点云（空间精度）之间的互补信息进行无监督学习？
• RQ3 帧间的时间一致性在多大程度上能提升无监督2D与3D检测中伪标签的可靠性？
• RQ4 2D与3D网络之间的联合迭代优化是否能显著提升性能，相比单模态无监督方法？
• RQ5 当仅提供有限标注时，所提方法与监督基线相比表现如何？

主要发现

• 所提出的4D无监督目标发现框架在Waymo开放数据集上实现了2D目标检测AP为43.2%，3D实例分割AP为26.2%，优于当前最先进的无监督方法。
• 联合迭代优化带来快速性能提升：2D AP从30.0%提升至43.2%，3D AP从20.2%提升至26.2%，仅用三轮迭代。
• 尽管训练过程中未使用任何人工标注标签，该方法在全量标注数据上训练时，性能可与全监督模型相媲美。
• 早停策略通过防止对噪声伪标签的过拟合，提升了泛化能力，若训练超过最优轮次，性能会下降。
• 3D实例的最小点数阈值设为5时，3D AP达到最优（26.2%），表明过滤低密度片段可提升分割质量。
• 该方法对可移动物体（如车辆、行人）有效，但无法检测静态物体（如椅子、床），原因在于缺乏运动线索。