[論文レビュー] Deep Model-Based 6D Pose Refinement in RGB

Fabian Manhardt, Wadim Kehl+2 more|arXiv (Cornell University)|Oct 7, 2018

Advanced Vision and Imaging参考文献 32被引用数 4

ひとこと要約

本稿では、対応関係やセグメンテーション、明示的な外観モデル化を必要とせず、オブジェクトの輪郭を一致させる微分可能視覚損失を用いてRGB画像における6次元ポーズの微調整を行う深層学習ベースの手法を提案する。本手法は合成RGBデータのみを用いても、近似的にICPに匹敵する精度を達成し、リアルタイムで動作し、遮蔽、対称性、初期化の悪さに対して強い耐性を示す。

ABSTRACT

We present a novel approach for model-based 6D pose refinement in color data. Building on the established idea of contour-based pose tracking, we teach a deep neural network to predict a translational and rotational update. At the core, we propose a new visual loss that drives the pose update by aligning object contours, thus avoiding the definition of any explicit appearance model. In contrast to previous work our method is correspondence-free, segmentation-free, can handle occlusion and is agnostic to geometrical symmetry as well as visual ambiguities. Additionally, we observe a strong robustness towards rough initialization. The approach can run in real-time and produces pose accuracies that come close to 3D ICP without the need for depth data. Furthermore, our networks are trained from purely synthetic data and will be published together with the refinement code to ensure reproducibility.

研究の動機と目的

• 深度データが利用できないRGBオンリーシナリオにおける6次元ポーズ微調整の課題に対処すること。
• 手作業で作成されたセグメンテーションや対応関係、外観モデルに依存する既存手法の限界を克服すること。
• 手動のチューニングを必要とせず、遮蔽、対称性、視覚的曖昧性に対してもロバストなポーズ微調整を可能とすること。
• 高精度を維持しつつ、リアルタイムでの動作を実現すること。
• 一般化性と再現可能性を確保するため、ネットワークを完全に合成データ上で訓練すること。

提案手法

• レンダリングされたオブジェクトの輪郭とシーンの輪郭の重なりを最大化することで、ポーズ微調整を促進する微分可能な視覚損失を提案する。
• RGB入力と合成レンダリングに基づいて、6次元ポーズ更新（並進と回転）を予測するためのCNNを訓練する。
• 照明条件や遮蔽が変化する合成RGBデータを用いて、トレーニング中にオブジェクトの外観と形状を暗黙的に学習する。
• 外観や幾何学的形状の明示的モデル化を避ける代わりに、最適化信号として輪郭一致に依存する。
• RANSAC、セグメンテーション、対応関係のマッチングを一切必要としないパラメータフリーの最適化フレームワークを設計する。
• 多様なCADモデルでトレーニングを行い、同じカテゴリに属する未観測のインスタンスで評価することで、一般化性を確保する。

実験結果

リサーチクエスチョン

• RQ1 明示的な外観モデルや対応関係のモデル化なしに、輪郭一致のみを用いて深層ニューラルネットワークがRGB画像における6次元オブジェクトポーズを微調整できるか？
• RQ2 合成データでトレーニングされたネットワークが、遮蔽や視覚的曖昧性を伴う実世界のRGB画像にどの程度一般化できるか？
• RQ3 輪郭ベースの学習は、従来のICP法や外観ベースの手法と比較して、精度とロバスト性の面でどの程度優れているか？
• RQ4 本手法は、対称的なオブジェクトや強い初期化誤差に対しても、手動の介入なしに処理できるか？
• RQ5 深度データが欠如していることで、RGB-D手法と比較して性能が著しく低下するか？

主な発見

• 本手法は深度データを必要とせず、RGBオンリーシナリオにおいても3D ICPに近いポーズ精度を達成し、強力な性能を示した。
• 遮蔽データセットでは、ADDスコアが6.2%から28.5%に向上し、部分的遮蔽に対しても顕著なロバスト性を示した。
• 遮蔽下において、ベースライン手法と比較して並進誤差がX軸およびY軸で4mm減少し、Z軸で28mm減少した。
• 視覚損失を用いてトレーニングしたネットワークは、対称的なオブジェクトにおいてMSEベースのトレーニングに比べ14%高いVSSスコアを達成し、適切な対称性処理の重要性を示した。
• カテゴリレベルのトラッキングに対しても一般化でき、トレーニング時に使用した多様なマグやボウルのCADモデルとは異なる未観測のモデルに対しても、ポーズの微調整に成功した。
• 失敗事例としては、形状や色が類似したオブジェクトの誤識別や、重度の遮蔽下での回復不全があり、複雑な視覚的誤解の状況では現在の限界が顕在している。