[論文レビュー] Diff-DOPE: Differentiable Deep Object Pose Estimation

Jonathan Tremblay, Bowen Wen+4 more|arXiv (Cornell University)|Sep 30, 2023

Advanced Neural Network Applications被引用数 5

ひとこと要約

Diff-DOPE は、勾配降下法を用いて観測画像とレンダリングされた3Dモデルの間の視覚的誤差を最小化することで、学習を要しない微分可能レンダリングに基づく6-DoFオブジェクトポーズの最適化手法を提案する。複雑で部分的遮蔽があるシーンにおいても平均1 cm未満のポーズ誤差を達成し、MegaPoseなどの最先端手法を上回る性能を発揮するが、ニューラルネットワークの学習や大規模な合成データセットを一切必要としない。

ABSTRACT

We introduce Diff-DOPE, a 6-DoF pose refiner that takes as input an image, a 3D textured model of an object, and an initial pose of the object. The method uses differentiable rendering to update the object pose to minimize the visual error between the image and the projection of the model. We show that this simple, yet effective, idea is able to achieve state-of-the-art results on pose estimation datasets. Our approach is a departure from recent methods in which the pose refiner is a deep neural network trained on a large synthetic dataset to map inputs to refinement steps. Rather, our use of differentiable rendering allows us to avoid training altogether. Our approach performs multiple gradient descent optimizations in parallel with different random learning rates to avoid local minima from symmetric objects, similar appearances, or wrong step size. Various modalities can be used, e.g., RGB, depth, intensity edges, and object segmentation masks. We present experiments examining the effect of various choices, showing that the best results are found when the RGB image is accompanied by an object mask and depth image to guide the optimization process.

研究の動機と目的

• 大規模な合成データセットへの学習を回避することで、より迅速な展開と高い解釈可能性を実現するポーズ最適化手法の開発。
• 対称的な物体、類似した外観、または初期推定が不正確な場合に生じるポーズ最適化における局所最適解の問題への対処。
• RGB、深度、エッジ、セグメンテーションマスクなどの複数のセンサモダリティを再トレーニングなしに柔軟かつモジュラーに統合できる仕組みの実現。
• 直接的な微分可能レンダリングによる最適化が、学習された最適化ネットワークを上回る精度と頑健性を達成できることの実証。
• 同じフレームワークをロボット-カメラキャリブレーションに応用可能かどうかの検討。

提案手法

• オブジェクトの6-DoFポーズに関する観測画像とレンダリングされた3Dモデルの間の視覚的誤差の勾配を、微分可能レンダリングを用いて計算する。
• ピクセル単位のずれを画像空間で最小化するように、エンドツーエンドの勾配降下法による最適化を実行し、繰り返しポーズを改善する。
• 局所最適解からの脱出を図るため、複数の並列最適化インスタンスに異なるランダムな学習率を適用する「学習率のランダム化」を採用する。
• RGB、深度、強度エッジ、オブジェクトセグメンテーションマスクの複数の入力モダリティをサポートし、任意の組み合わせを用いることが可能。
• 3Dテクスチャーモデルを微分可能レンダリングのターゲットとして扱い、レンダラーを介したバックプロパゲーションによりポーズパラメータを直接最適化する。
• 手動でアライメントされた3Dロボットメッシュと点群を用いて、セグメンテーションと深度のみを最適化することで、ロボット-カメラキャリブレーションへの応用を拡張する。

実験結果

リサーチクエスチョン

• RQ1 学習を要せず、大規模な合成データセットに依存しない微分可能レンダリングベースのアプローチが、最先端の6-DoFオブジェクトポーズ推定精度を達成できるか。
• RQ2 対称的またはテクスチャのない物体に対して、学習率のランダム化が局所最適解の回避にどの程度有効であるか。
• RQ3 RGB、深度、セグメンテーションなどの複数のセンサモダリティを組み合わせた際のポーズ最適化性能への影響は何か。
• RQ4 同じ微分可能レンダリングフレームワークをロボット-カメラキャリブレーションタスクに適応可能か。
• RQ5 重度の遮蔽、低解像度のオブジェクト、非ラムベールト的表面材質といった困難な条件下でも、本手法の性能はどの程度維持されるか。

主な発見

• Diff-DOPE は HOPE データセットにおいて平均ポーズ誤差が0.5 cm未満を達成し、MegaPose や他の最先端手法を大きく上回る。
• T-LESS および YCB-Video データセットにおいて、テクスチャのない物体や対称的な物体に対して優れた性能を示し、従来の手法が失敗しやすい状況でも有効である。
• RGB と深度画像に加えてオブジェクトセグメンテーションマスクを組み合わせた場合が最も高い性能を示し、RGB のみを使用する場合に比べて誤差が顕著に低減される。
• 学習率のランダム化は成功の鍵であり、局所最適解からの脱出を可能にし、より正確な解に収束させる。
• オブジェクトのサイズが322ピクセルにまで小さくても、性能が安定して維持される。
• Diff-DOPE は深度とセグメンテーションのみを用いてロボット-カメラキャリブレーションを成功させ、トレーニング済みのネットワークを一切必要としない。