[论文解读] DEVIANT: Depth EquiVarIAnt NeTwork for Monocular 3D Object Detection

Abhinav Kumar, Garrick Brazil+3 more|arXiv (Cornell University)|Jul 21, 2022

Advanced Neural Network Applications被引用 4

一句话总结

DEVIANT 通过用尺度等变可导向模块替代标准卷积，提出了一种用于单目 3D 目标检测的深度等变神经网络，实现了在投影流形中对深度平移的等变性。该设计提升了深度估计的一致性，在仅使用图像的 KITTI 和 Waymo 基准测试中达到最先进性能，并在跨数据集评估中展现出更优的泛化能力。

ABSTRACT

Modern neural networks use building blocks such as convolutions that are equivariant to arbitrary 2D translations. However, these vanilla blocks are not equivariant to arbitrary 3D translations in the projective manifold. Even then, all monocular 3D detectors use vanilla blocks to obtain the 3D coordinates, a task for which the vanilla blocks are not designed for. This paper takes the first step towards convolutions equivariant to arbitrary 3D translations in the projective manifold. Since the depth is the hardest to estimate for monocular detection, this paper proposes Depth EquiVarIAnt NeTwork (DEVIANT) built with existing scale equivariant steerable blocks. As a result, DEVIANT is equivariant to the depth translations in the projective manifold whereas vanilla networks are not. The additional depth equivariance forces the DEVIANT to learn consistent depth estimates, and therefore, DEVIANT achieves state-of-the-art monocular 3D detection results on KITTI and Waymo datasets in the image-only category and performs competitively to methods using extra information. Moreover, DEVIANT works better than vanilla networks in cross-dataset evaluation. Code and models at https://github.com/abhi1kumar/DEVIANT

研究动机与目标

• 解决标准卷积神经网络仅对 2D 平移具有等变性，而单目检测在 3D 投影流形中运行之间的不匹配问题。
• 提升单目 3D 检测中深度估计的一致性，该任务本身具有病态性且易出错。
• 通过将深度等变性嵌入主干网络，提升泛化能力，特别是在跨数据集评估中。
• 证明在投影流形中对深度平移的等变性可带来更鲁棒、更准确的 3D 检测结果。

提出的方法

• 用尺度等变可导向卷积模块替换主干网络中的标准卷积块，以强制实现对深度（尺度）变换的等变性。
• 在自动驾驶中自车运动的合理假设下，借鉴 [30] 的理论结果，将尺度变换作为深度平移的代理。
• 通过确保特征图在对应于深度中自车运动的尺度变换下一致变换，实现深度等变性。
• 使用现有的尺度等变构建模块，在保持计算效率的同时将等变性嵌入网络架构。
• 使用标准检测头（如 GUP-Net 或 CenterNet 中的检测头）与修改后的主干网络联合训练，以保持检测头的性能。
• 通过受控实验测量在尺度变换下的等变性误差，验证等变性。

实验结果

研究问题

• RQ1 通过强制深度估计的一致性，深度等变卷积能否提升单目 3D 目标检测的性能？
• RQ2 在投影流形中嵌入对深度平移的等变性，是否能带来跨数据集更好的泛化能力？
• RQ3 与原始 CNN 主干相比，所提出的 DEVIANT 架构在深度估计精度和鲁棒性方面表现如何？
• RQ4 深度等变性在多大程度上减小了单目 3D 检测中训练与验证之间的泛化差距？

主要发现

• DEVIANT 在仅使用图像的 KITTI 和 Waymo 数据集上达到最先进性能，优于先前的 SOTA 方法。
• 与原始 CNN 相比，DEVIANT 的深度等变性误差显著更低，证实了深度等变性的成功整合。
• 在跨数据集评估中（KITTI 模型在 nuScenes 上测试），DEVIANT 比基线模型泛化能力更强，产生更少的误检并生成更准确的 3D 框。
• 在 KITTI、nuScenes 和 Waymo 上的定性结果表明，DEVIANT 的预测结果比 GUP-Net 更接近真实值，即使在无时间信息的情况下，其框方向也更稳定。
• 等变性误差演示确认，DEVIANT 在各种尺度变换下均保持较低误差，验证了理论设计的有效性。
• 该模型在原始 KITTI 视频序列上实现了稳定且准确的 3D 检测，无需使用时间信息，展现出强大的鲁棒性。