[论文解读] ApolloCar3D: A Large 3D Car Instance Understanding Benchmark for Autonomous Driving

Xibin Song, Peng Wang+7 more|arXiv (Cornell University)|Nov 29, 2018

3D Shape Modeling and Analysis参考文献 58被引用 13

一句话总结

ApolloCar3D 引入了目前公开可用的最大规模 3D 汽车实例理解基准数据集，涵盖 5,277 张图像，包含超过 60,000 个汽车实例，每个实例均配有工业级 3D CAD 模型及 66 个语义关键点。该数据集通过上下文感知的标注流程与基线模型，实现了最先进的 3D 姿态与形状估计性能，利用 2D-3D 关键点对应关系显著提升了性能，尽管模型与人类表现之间仍存在约 10% 的差距。

ABSTRACT

Autonomous driving has attracted remarkable attention from both industry and academia. An important task is to estimate 3D properties(e.g.translation, rotation and shape) of a moving or parked vehicle on the road. This task, while critical, is still under-researched in the computer vision community - partially owing to the lack of large scale and fully-annotated 3D car database suitable for autonomous driving research. In this paper, we contribute the first large-scale database suitable for 3D car instance understanding - ApolloCar3D. The dataset contains 5,277 driving images and over 60K car instances, where each car is fitted with an industry-grade 3D CAD model with absolute model size and semantically labelled keypoints. This dataset is above 20 times larger than PASCAL3D+ and KITTI, the current state-of-the-art. To enable efficient labelling in 3D, we build a pipeline by considering 2D-3D keypoint correspondences for a single instance and 3D relationship among multiple instances. Equipped with such dataset, we build various baseline algorithms with the state-of-the-art deep convolutional neural networks. Specifically, we first segment each car with a pre-trained Mask R-CNN, and then regress towards its 3D pose and shape based on a deformable 3D car model with or without using semantic keypoints. We show that using keypoints significantly improves fitting performance. Finally, we develop a new 3D metric jointly considering 3D pose and 3D shape, allowing for comprehensive evaluation and ablation study. By comparing with human performance we suggest several future directions for further improvements.

研究动机与目标

• 为解决自动驾驶研究中缺乏大规模、完全标注的 3D 汽车数据集的问题。
• 实现对车辆在实例级别上的精确 3D 理解，包括姿态、形状以及语义关键点定位。
• 开发一种可扩展的、上下文感知的 3D 标注流程，利用 2D-3D 关键点对应关系及实例间关系，实现高效标注。
• 建立一个用于评估 3D 汽车实例理解的基准，采用综合指标联合衡量姿态与形状性能。
• 识别当前深度学习模型与人工标注之间在性能上的差距，为未来研究提供指导。

提出的方法

• 该数据集源自 ApolloScape 数据集，包含立体图像、相机位姿、语义实例掩码、每像素深度以及动态视频。
• 每个汽车实例均匹配一个高精度、工业级的 3D CAD 模型，包含绝对尺寸信息及 66 个语义标记的关键点。
• 采用上下文感知的 3D 标注流程，利用 2D-3D 关键点对应关系及多辆汽车之间的 3D 关系，提升标注效率与准确性。
• 基线模型采用 Mask R-CNN 进行实例分割，随后通过可变形 3D 汽车模型回归 3D 姿态与形状。
• 采用一种新型 3D 评估指标，联合考虑 3D 姿态与形状的准确性。
• 通过一个包含 100 张图像的验证集评估人类表现，将人工标注结果作为算法比较的基准。

实验结果

研究问题

• RQ1 与直接进行 3D 回归相比，引入 66 个语义关键点在 3D 汽车实例拟合中能带来多大性能提升？
• RQ2 当前最先进深度学习模型与人工标注者在 3D 汽车实例理解任务中的性能差距有多大？
• RQ3 在真实驾驶场景中，距离与遮挡如何影响 3D 姿态与形状估计的准确性？
• RQ4 上下文感知的 3D 标注流程是否能显著提升大规模 3D 数据集的标注效率与一致性？
• RQ5 当前 3D 估计模型的主要失败模式是什么，特别是在遮挡或车辆外观异常的情况下？

主要发现

• ApolloCar3D 数据集包含 5,277 张图像和超过 60,000 个汽车实例，其规模远超 PASCAL3D+ 和 KITTI，超过 20 倍以上。
• 在 3D 拟合流程中引入 66 个语义关键点显著提升了性能，原因在于更强的几何约束。
• 在验证集上，人类表现与最佳算法相比存在约 10% 的准确率差距，表明仍有改进空间。
• 基于 CPM 的检测器在 2D 关键点检测中的准确率为 75.41%，平均像素误差为 4.39 px；而人工标注的关键点检测准确率达 92.40%，平均误差为 2.67 px。
• 随着距离增加和遮挡程度上升，性能下降，但未被遮挡的远距离小型车辆平均准确率最差，主要受限于尺度与分辨率。
• 研究发现，人工标注错误主要源于难以记忆 66 个关键点的语义含义，提示通过优化与复核流程可进一步提升人工基线性能。