[论文解读] Diff-DOPE: Differentiable Deep Object Pose Estimation

Jonathan Tremblay, Bowen Wen+4 more|arXiv (Cornell University)|Sep 30, 2023

Advanced Neural Network Applications被引用 5

一句话总结

Diff-DOPE 提出了一种无需训练、基于可微分渲染的 6-DoF 物体位姿精炼方法，通过梯度下降最小化观测图像与渲染图像之间的视觉误差。该方法在复杂且存在遮挡的场景中实现了亚厘米级的平均位姿误差，优于无需任何神经网络训练或大规模合成数据集的最先进方法（如 MegaPose）。

ABSTRACT

We introduce Diff-DOPE, a 6-DoF pose refiner that takes as input an image, a 3D textured model of an object, and an initial pose of the object. The method uses differentiable rendering to update the object pose to minimize the visual error between the image and the projection of the model. We show that this simple, yet effective, idea is able to achieve state-of-the-art results on pose estimation datasets. Our approach is a departure from recent methods in which the pose refiner is a deep neural network trained on a large synthetic dataset to map inputs to refinement steps. Rather, our use of differentiable rendering allows us to avoid training altogether. Our approach performs multiple gradient descent optimizations in parallel with different random learning rates to avoid local minima from symmetric objects, similar appearances, or wrong step size. Various modalities can be used, e.g., RGB, depth, intensity edges, and object segmentation masks. We present experiments examining the effect of various choices, showing that the best results are found when the RGB image is accompanied by an object mask and depth image to guide the optimization process.

研究动机与目标

• 开发一种避免依赖大规模合成数据集进行训练的位姿精炼方法，以实现更快的部署速度和更高的可解释性。
• 解决由对称物体、外观相似或初始估计不佳导致的位姿优化中的局部极小值问题。
• 实现多种传感器模态（如 RGB、深度、边缘和分割掩码）的灵活、模块化使用，而无需重新训练。
• 证明通过可微分渲染直接优化可超越基于学习的精炼网络在精度和鲁棒性方面的表现。
• 探索该框架在机器人-相机标定任务中的可行性，从而拓展其在物体位姿估计之外的应用范围。

提出的方法

• 利用可微分渲染计算观测图像与 3D 模型渲染图像之间视觉误差相对于物体 6-DoF 位姿的梯度。
• 通过端到端的梯度下降优化，在图像空间中迭代最小化像素级错位以精炼位姿。
• 采用学习率随机化策略——在多个并行优化实例中应用不同的随机学习率——以逃离局部极小值。
• 支持多种输入模态：RGB、深度、强度边缘和物体分割掩码，可灵活组合使用。
• 将带纹理的 3D 模型视为可微分渲染目标，通过渲染器反向传播直接优化位姿参数。
• 通过仅优化分割和深度信息，将方法扩展至机器人-相机标定，使用手动对齐的 3D 机器人网格和点云。

实验结果

研究问题

• RQ1 无需大规模合成数据集，仅基于可微分渲染的无训练方法能否实现最先进的 6-DoF 物体位姿估计精度？
• RQ2 在对称或无纹理物体的位姿优化中，学习率随机化在避免局部极小值方面的有效性如何？
• RQ3 结合多种传感器模态（RGB、深度、分割）对位姿精炼性能的影响是什么？
• RQ4 相同的可微分渲染框架能否被适配用于机器人-相机标定任务？
• RQ5 在严重遮挡、低物体分辨率或非朗伯表面材质等挑战性条件下，该方法的表现如何？

主要发现

• 在 HOPE 数据集上，Diff-DOPE 的平均位姿误差低于 0.5 cm，显著优于 MegaPose 及其他最先进方法。
• 在 T-LESS 和 YCB-Video 数据集上，Diff-DOPE 在无纹理和对称物体上表现出色，而先前方法常在此类情况下失效。
• 结合 RGB 和深度图像与物体分割掩码可获得最佳性能，相比仅使用 RGB 时误差更低。
• 学习率随机化至关重要，它使方法能够逃离局部极小值并收敛到更精确的解。
• 即使在低物体分辨率下（物体尺寸缩小至 322 像素），该方法仍保持鲁棒性。
• Diff-DOPE 通过仅使用深度和分割信息成功实现了机器人-相机标定，实现了高精度对齐，且无需训练神经网络。