[论文解读] GSNet: Joint Vehicle Pose and Shape Reconstruction with Geometrical and Scene-aware Supervision

Lei Ke, Shichao Li+3 more|arXiv (Cornell University)|Jul 26, 2020

Advanced Vision and Imaging参考文献 68被引用 5

一句话总结

GSNet 是一种端到端的深度学习框架，通过一种新颖的四向特征融合方案和结合几何一致性与场景感知约束的混合损失函数，从单张 RGB 图像中联合估计 6D 车辆位姿并重建详细的 3D 汽车形状。它在 ApolloCar3D 基准测试中实现了最先进性能，使用 1352 个顶点的网格和 18.36° 的平均角度误差，其精度和速度均优于先前方法。

ABSTRACT

We present a novel end-to-end framework named as GSNet (Geometric and Scene-aware Network), which jointly estimates 6DoF poses and reconstructs detailed 3D car shapes from single urban street view. GSNet utilizes a unique four-way feature extraction and fusion scheme and directly regresses 6DoF poses and shapes in a single forward pass. Extensive experiments show that our diverse feature extraction and fusion scheme can greatly improve model performance. Based on a divide-and-conquer 3D shape representation strategy, GSNet reconstructs 3D vehicle shape with great detail (1352 vertices and 2700 faces). This dense mesh representation further leads us to consider geometrical consistency and scene context, and inspires a new multi-objective loss function to regularize network training, which in turn improves the accuracy of 6D pose estimation and validates the merit of jointly performing both tasks. We evaluate GSNet on the largest multi-task ApolloCar3D benchmark and achieve state-of-the-art performance both quantitatively and qualitatively. Project page is available at https://lkeab.github.io/gsnet/.

研究动机与目标

• 解决在城市驾驶场景中，从单张 RGB 图像准确估计 6D 车辆位姿与 3D 形状的挑战。
• 通过引入编码几何与可见性的多样化视觉特征，超越基于 ROI 的特征提取方法以提升性能。
• 通过引入多目标损失减少监督中的歧义，该损失强制实现几何一致性与场景级约束。
• 通过密集网格表示展示位姿与形状重建联合优化的优势。
• 在未见过的数据集（如 KITTI）上验证泛化能力，尽管未在这些领域进行微调。

提出的方法

• GSNet 采用四向特征提取与融合机制，将感兴趣区域（ROI）特征与图像中额外的几何与可见性感知特征相结合。
• 采用分而治之策略，将 3D 车辆形状表示为包含 1352 个顶点和 2700 个面的详细网格，实现细粒度重建。
• 设计了一种混合多目标损失函数，结合基于投影 66 个语义关键点的几何一致性项，以及强制实现实例间与实例-环境关系的场景感知项。
• 网络在一次前向传播中直接回归 6D 位姿与 3D 形状参数，支持实时推理。
• 模型在 ApolloCar3D 基准上端到端训练，利用标注的 3D 形状与几何约束提供强监督信号。
• 框架利用投影几何对预测进行正则化，相比基于掩码的损失，显著降低了位姿估计中的歧义性。

实验结果

研究问题

• RQ1 将超越 ROI 特征的多样化视觉特征整合，是否能提升从单目图像中估计 6D 位姿与 3D 形状的性能？
• RQ2 通过关键点投影强制实现几何一致性，是否能相比基于掩码的损失减少 3D 位姿回归中的歧义性？
• RQ3 包括车辆间关系与车辆-环境关系在内的场景级约束，是否能提升网络的泛化能力与准确性？
• RQ4 与解耦方法相比，位姿与形状重建的联合优化是否能带来相互的性能增益？
• RQ5 密集网格表示是否能实现更有效的监督并提升 6D 位姿估计的准确性？

主要发现

• GSNet 在 ApolloCar3D 基准测试中实现了 18.36° 的平均角度误差，相比之前最先进方法在中位数角度误差上降低了 20%。
• 该模型在 ApolloCar3D 验证集上实现了 20.2 的 Rel-mAP，采用分而治之形状模块，显著优于基于检索的与单个 PCA 的形状表示方法。
• 在 Pascal3D+ 上，GSNet 实现了 $Acc_{\pi/6}$ 为 0.98，中位数角度误差为 2.4°，优于 3D-RCNN 的 3.0° 误差。
• 网络在未见过的数据集上泛化良好，在未进行微调的情况下，于 KITTI 上生成了准确的 3D 重建结果，定性结果已验证。
• 消融实验表明，四向特征融合与混合损失函数对性能至关重要，特征融合的消融导致关键指标性能下降超过 10%。
• 密集网格表示通过 66 个投影关键点实现了有效的几何监督，降低了基于掩码损失的歧义性，提升了位姿估计的鲁棒性。