[论文解读] Geometrically Plausible Object Pose Refinement using Differentiable Simulation

Anil Zeybek, R. Newbury+4 more|arXiv (Cornell University)|Mar 22, 2026

Robot Manipulation and Learning被引用 0

一句话总结

本文提出一种多模态姿态精 refinement 框架，结合可微分物理、可微分渲染与视觉-触觉感知，在提高姿态精度的同时强制物理可行性，尤其在初始不确定性较高时优于 ICP 基线。

ABSTRACT

State-of-the-art object pose estimation methods are prone to generating geometrically infeasible pose hypotheses. This problem is prevalent in dexterous manipulation, where estimated poses often intersect with the robotic hand or are not lying on a support surface. We propose a multi-modal pose refinement approach that combines differentiable physics simulation, differentiable rendering and visuo-tactile sensing to optimize object poses for both spatial accuracy and physical consistency. Simulated experiments show that our approach reduces the intersection volume error between the object and robotic hand by 73\% when the initial estimate is accurate and by over 87\% under high initial uncertainty, significantly outperforming standard ICP-based baselines. Furthermore, the improvement in geometric plausibility is accompanied by a concurrent reduction in translation and orientation errors. Achieving pose estimation that is grounded in physical reality while remaining faithful to multi-modal sensor inputs is a critical step toward robust in-hand manipulation.

研究动机与目标

• 通过在实现物理可行性的同时提升六维对象姿态在灵巧手内的精细调整。
• 将可微分物理和可微分渲染与视觉-触觉感知结合。
• 利用多目标损失平衡传感器保真度与物理约束。
• 开发一个启发式梯度融合策略，动态优先考虑梯度项。
• 评估对不确定初始姿态的鲁棒性并与 ICP 基线进行比较。

提出的方法

• 使用可微分物理仿真来提供关于对象在 SE(3) 中姿态的解析梯度。
• 结合四个梯度源：可微分物理、可微分渲染、网格到深度距离、网格到触觉距离。
• 从一个视觉-触觉网络初始化姿态，该网络对每个像素回归带有置信度的六维姿态。
• 应用带有 L2 位移正则化的多目标损失，以强调旋转对齐。
• 基于历史改进动态加权梯度源以更新姿态。
• 实现检查点机制，在物理继续细化的同时保留最佳视觉对齐。

实验结果

研究问题

• RQ1 可微分物理与渲染结合视觉-触觉数据，是否能在 ICP 之外实现几何上合理的六维姿态精 refinement？
• RQ2 在高初始姿态不确定性下，多模态梯度融合的表现如何？
• RQ3 将触觉信息纳入对物理可行性与姿态精度的影响为何？
• RQ4 在强制非穿透和重力支撑接触的同时，方法是否仍能保持对传感器数据的保真？

主要发现

Method	PE (cm)	OE (deg)	CA (cm^2)	IV (cm^3)	|ΔCA| (cm^2)	|ΔIV| (cm^3)
Ground Truth	-	-	36.28	0.17	0	0
Initial Pose	0.65	6.98	39.05	2.36	2.77	2.19
ICP	3.46	43.01	65.26	28.73	28.98	28.56
ICP w/ Checkpointing	1.30	13.77	48.31	8.71	12.03	8.54
Ours	0.62	6.69	41.73	0.76	5.45	0.59

• 在初始估计较准确时，所提出方法将交叉体积误差相对于初始姿态减少了 73.1%。
• 在高初始不确定性下，交叉体积误差减少超过 87%。
• 相对于基线初始估计，平均位置误差降低 4.6%，方向误差降低 4.1%。
• 相对于 ICP 基线，方法在姿态平移误差（PE）和姿态方向误差（OE）上有所下降。
• 几何可行性改进（CA 与 IV 指标）伴随误差下降，表明姿态更具物理一致性。