[论文解读] Deep Learning on Monocular Object Pose Detection and Tracking: A Comprehensive Overview

Zhaoxin Fan, Yazhi Zhu+4 more|arXiv (Cornell University)|May 29, 2021

Advanced Neural Network Applications被引用 6

一句话总结

本文全面综述了基于深度学习的单目物体位姿检测与跟踪方法，重点聚焦于RGB/RGBD输入的实例级与类别级任务。文章详细介绍了最先进方法、评估指标、数据集及性能对比，识别出6D位姿估计中的关键挑战与未来研究方向，尤其针对机器人学与增强现实等实际应用场景。

ABSTRACT

Object pose detection and tracking has recently attracted increasing attention due to its wide applications in many areas, such as autonomous driving, robotics, and augmented reality. Among methods for object pose detection and tracking, deep learning is the most promising one that has shown better performance than others. However, survey study about the latest development of deep learning-based methods is lacking. Therefore, this study presents a comprehensive review of recent progress in object pose detection and tracking that belongs to the deep learning technical route. To achieve a more thorough introduction, the scope of this study is limited to methods taking monocular RGB/RGBD data as input and covering three kinds of major tasks: instance-level monocular object pose detection, category-level monocular object pose detection, and monocular object pose tracking. In our work, metrics, datasets, and methods of both detection and tracking are presented in detail. Comparative results of current state-of-the-art methods on several publicly available datasets are also presented, together with insightful observations and inspiring future research directions.

研究动机与目标

• 提供基于深度学习的单目物体位姿检测与跟踪方法的详细、最新综述，专一聚焦于RGB/RGBD输入。
• 明确并定义实例级与类别级单目物体位姿检测与跟踪的任务形式，包括输入、输出与技术范围。
• 通过标准化指标在多个公开数据集上系统比较最先进方法，突出性能趋势与局限性。
• 识别当前方法中的关键挑战，如从单目图像估计深度、CAD渲染效率低下，以及跟踪中的位姿漂移问题。
• 提出可操作的未来研究方向，包括全9自由度（DoF）跟踪、可微分渲染，以及无标记、高类内差异的数据集。

提出的方法

• 本研究对单目6D物体位姿检测与跟踪方法进行系统性分类，按输入模态（RGB/RGBD）、任务类型（实例级与类别级）和输出格式（6D或9D位姿）进行划分。
• 采用标准指标（如旋转误差与平移误差，例如平均旋转误差与平均平移误差）评估方法，并在YCB、LINEMOD和NOCS等基准数据集上报告定量结果。
• 分析将2D物体检测流程与3D位姿预测相结合的方法，利用CAD模型进行监督并用于训练中的渲染。
• 在跟踪方面，研究循环神经网络（如LSTM）在利用多帧时间依赖性方面的作用，以减少漂移与误差累积。
• 评估可微分渲染技术在提升训练效率与端到端学习方面的作用，特别是在缺乏真实深度监督的情况下。
• 本研究倡导未来工作应关注基于NeRF的场景表征以及开源、无标记的9自由度标注工具，以增强泛化能力与实际应用性。

实验结果

研究问题

• RQ1 在使用深度学习进行实例级与类别级单目物体位姿检测时，关键技术差异与性能权衡是什么？
• RQ2 当前基于深度学习的方法在缺乏立体或深度传感器的情况下，如何应对单目深度估计与3D重建的挑战？
• RQ3 现有单目物体位姿跟踪方法的主要局限性是什么，特别是关于误差累积、漂移以及仅依赖两帧的问题？
• RQ4 当前数据集与标注实践（如使用标记基真值）在多大程度上引入偏差并限制真实世界泛化能力？
• RQ5 在无需CAD模型的前提下，实现鲁棒的、全9自由度（旋转、平移、尺寸）类别级物体位姿跟踪，最具前景的未来研究方向是什么？

主要发现

• 在LINEMOD与YCB等标准基准上，在受控条件下，最先进方法实现了平均旋转误差低于5°、平均平移误差低于5cm的性能。
• 类别级检测方法在同类别内的不同物体实例间表现出良好泛化能力，但在面对具有高类内差异的未见实例时性能显著下降。
• 仅使用当前帧与前一帧的两帧跟踪方法存在累积误差与漂移问题，导致在长序列中性能显著下降。
• 采用LSTM等循环网络可借助多帧上下文信息提升跟踪稳定性与时间一致性，减少漂移并提高轨迹平滑度。
• 依赖非可微或低效CAD渲染器的方法面临高昂训练成本，可微分渲染被识别为实现端到端训练的关键推动因素。
• 仅有1种方法（Wang et al., 2020b）实现了全9自由度类别级跟踪，凸显了在增强现实等需旋转与尺寸感知的应用中该领域仍存在重大空白。