[论文解读] DORT: Modeling Dynamic Objects in Recurrent for Multi-Camera 3D Object Detection and Tracking

Qing Lian, Tai Wang+2 more|arXiv (Cornell University)|Mar 29, 2023

Advanced Vision and Imaging被引用 4

一句话总结

DORT 提出了一种循环框架，通过建模多相机 3D 目标检测中的动态目标运动，纠正静态假设带来的定位偏差。通过使用逐对象的局部 3D 体积并迭代优化运动与位置，实现了精确的时序特征聚合，在 nuScenes 上实现了 62.5% 的 NDS 和 57.6% 的 AMOTA，且无需额外组件。

ABSTRACT

Recent multi-camera 3D object detectors usually leverage temporal information to construct multi-view stereo that alleviates the ill-posed depth estimation. However, they typically assume all the objects are static and directly aggregate features across frames. This work begins with a theoretical and empirical analysis to reveal that ignoring the motion of moving objects can result in serious localization bias. Therefore, we propose to model Dynamic Objects in RecurrenT (DORT) to tackle this problem. In contrast to previous global Bird-Eye-View (BEV) methods, DORT extracts object-wise local volumes for motion estimation that also alleviates the heavy computational burden. By iteratively refining the estimated object motion and location, the preceding features can be precisely aggregated to the current frame to mitigate the aforementioned adverse effects. The simple framework has two significant appealing properties. It is flexible and practical that can be plugged into most camera-based 3D object detectors. As there are predictions of object motion in the loop, it can easily track objects across frames according to their nearest center distances. Without bells and whistles, DORT outperforms all the previous methods on the nuScenes detection and tracking benchmarks with 62.5\% NDS and 57.6\% AMOTA, respectively. The source code will be released.

研究动机与目标

• 解决在时序特征聚合过程中假设所有物体静止所导致的多相机 3D 检测中定位偏差的关键问题。
• 通过引入循环优化机制，克服联合估计物体运动与位置的鸡肋问题。
• 相比全局鸟瞰图（BEV）表示，降低计算成本，同时保持逐对象的特征表示以支持运动建模。
• 通过利用预测的运动对齐帧间检测结果，实现端到端的联合 3D 目标检测与跟踪。
• 在 nuScenes 基准上实现最先进性能，且仅需极少的架构修改，证明其具备实用的即插即用兼容性。

提出的方法

• 引入逐对象的局部 3D 体积以提取运动感知特征，相比全局 BEV 操作降低计算成本。
• 基于预测的物体运动，将前序帧的局部体积映射到当前帧，构建时序代价体积。
• 实现一个循环模块，利用映射后的代价体积作为监督信号，迭代优化物体运动与位置预测。
• 采用可微分的优化循环，使运动与位置预测同步更新，实现联合优化。
• 利用预测的运动对齐帧间检测结果，自然实现多目标跟踪，无需额外设计跟踪头。
• 通过将循环流程扩展至包含两帧以上的多帧时序建模，提升运动估计的稳定性。

Figure 1 : Visualization of object localization from temporal correspondence. Previous work ignores the motion of moving objects, which leads to imprecise localization. Our work progressively refines the object’s location and motion so that the preceding features can be precisely aggregated.

实验结果

研究问题

• RQ1 在时序特征聚合过程中假设物体静止，对多相机 3D 检测中的定位精度有何影响？
• RQ2 对物体运动与位置进行迭代优化，能否提升时序特征对齐效果并减少深度估计偏差？
• RQ3 使用逐对象的局部 3D 体积与全局 BEV 表示相比，对计算效率与检测性能有何影响？
• RQ4 与静态假设相比，显式建模运动在多目标检测与跟踪联合性能上提升程度如何？
• RQ5 所提出的框架能否在不进行架构全面重构的前提下，灵活集成到现有基于摄像头的 3D 检测器中？

主要发现

• DORT 在 nuScenes 检测基准上达到 62.5% 的 NDS，优于所有先前方法，包括设计更复杂的模型。
• 在 nuScenes 跟踪基准上达到 57.6% 的 AMOTA，证明其具备强大的联合检测与跟踪性能。
• 使用真实运动标签相比静态假设可使 mAP 提升 4.3%，证明运动建模对准确对应关系的必要性。
• 即使使用预测的运动，相比静态假设仍能实现 2.9% 的 mAP 提升，验证了所提动态建模模块的有效性。
• 消融实验表明，逐对象的局部体积在显著降低 FLOPS 的同时，性能与全局 BEV 相当，尤其在透视视图中优势明显。
• 迭代优化在运动与检测精度上均带来逐步提升，性能改善在多个循环步骤中持续显现。

Figure 2 : Empirical analysis of the depth bias on the nuScenes dataset if objects are assumed static.