[論文レビュー] Geometrically Plausible Object Pose Refinement using Differentiable Simulation

Anil Zeybek, R. Newbury+4 more|arXiv (Cornell University)|Mar 22, 2026

Robot Manipulation and Learning被引用数 0

ひとこと要約

本論文は、 differentiable physics、differentiable rendering、視覚触覚センサを用いて物理的一貫性を保証しつつ pose 精度を向上させる多模態姿勢リファインメントフレームワークを提案し、初期不確実性が高い場合に特に ICP ベースラインを上回る。

ABSTRACT

State-of-the-art object pose estimation methods are prone to generating geometrically infeasible pose hypotheses. This problem is prevalent in dexterous manipulation, where estimated poses often intersect with the robotic hand or are not lying on a support surface. We propose a multi-modal pose refinement approach that combines differentiable physics simulation, differentiable rendering and visuo-tactile sensing to optimize object poses for both spatial accuracy and physical consistency. Simulated experiments show that our approach reduces the intersection volume error between the object and robotic hand by 73\% when the initial estimate is accurate and by over 87\% under high initial uncertainty, significantly outperforming standard ICP-based baselines. Furthermore, the improvement in geometric plausibility is accompanied by a concurrent reduction in translation and orientation errors. Achieving pose estimation that is grounded in physical reality while remaining faithful to multi-modal sensor inputs is a critical step toward robust in-hand manipulation.

研究の動機と目的

• デ dexterous な手内操作における 6D 物体姿勢リファインメントを、物理的妥当性の強制によって向上させる。
• 差分可能な物理シミュレーションと差分可能なレンダリングを視覚触覚センサと統合する。
• センサ忠実度と物理制約のバランスを取る多目的損失を活用する。
• 勾配項を動的に優先するヒューリスティック勾配フュージョン戦略を開発する。
• 不確定な初期姿勢に対する頑健性を評価し、ICP ベースラインと比較する。

提案手法

• SE(3) における物体姿勢の勾配解析を提供する差分可能な物理シミュレーションを使用する。
• 4つの勾配ソースを組み合わせる：差分可能な物理、差分可能なレンダリング、メッシュと深度の距離、メッシュと触覚の距離。
• 画素ごとに信頼度を回帰する visuo-tactile ネットワークから初期姿勢を推定する。
• 回転方向の整合性を強調する L2 平行移動正則化を含む多目的損失を適用する。
• 過去の改善を基に勾配ソースを動的に重みづけして姿勢を更新する。
• 最良の視覚的整列を保持するためのチェックポイント機構を実装し、物理は継続的にリファインする。

実験結果

リサーチクエスチョン

• RQ1 差分可能な物理とレンダリングを視覚触覚データと組み合わせると、ICP を超える幾何学的に妥当な 6D 姿勢リファインメントを得られるか？
• RQ2 初期姿勢不確実性が高い状況で多模態勾配フュージョンはどの程度機能するか？
• RQ3 触覚情報を含めることが物理的妥当性と姿勢精度に与える影響は何か？
• RQ4 センサデータの忠実性を保ちつつ、貫 penetr 記と重力を伴う接触を強制することは可能か？

主な発見

Method	PE (cm)	OE (deg)	CA (cm^2)	IV (cm^3)	|ΔCA| (cm^2)	|ΔIV| (cm^3)
Ground Truth	-	-	36.28	0.17	0	0
Initial Pose	0.65	6.98	39.05	2.36	2.77	2.19
ICP	3.46	43.01	65.26	28.73	28.98	28.56
ICP w/ Checkpointing	1.30	13.77	48.31	8.71	12.03	8.54
Ours	0.62	6.69	41.73	0.76	5.45	0.59

• 提案手法は、初期姿勢が正確な場合、初期姿勢との交差体積誤差を 73.1% 減少させる。
• 初期姿勢不確実性が高い場合、交差体積誤差は 87%超低減。
• 平均位置誤差が 4.6%、方位誤差が 4.1%の改善を、ベースライン初期推定と比較して達成。
• 姿勢の翻訳誤差（PE）と姿勢の方向誤差（OE）を ICP ベースラインと比較して低減。
• 幾何学的妥当性の改善（CA および IV 指標）と誤差低減を同時達成し、より物理的一貫性のある姿勢を示す。