[論文レビュー] Self6D: Self-Supervised Monocular 6D Object Pose Estimation

Gu Wang, Fabian Manhardt+4 more|arXiv (Cornell University)|Apr 14, 2020

Robot Manipulation and Learning参考文献 18被引用数 9

ひとこと要約

Self6Dは、ラベルなしの実際のRGB-Dデータを活用することで、実際の6次元姿勢アノテーションの必要性を排除した、最初の自己教師付き単眼6次元オブジェクトポーズ推定手法を提案する。合成RGBデータで事前学習した後、微分可能レンダリングを用いて視覚的・幾何的整合性を強制する。これにより、実世界のベンチマークで最先端の性能を達成し、一部のケースでは実際のアノテーションで学習した手法を上回る。

ABSTRACT

6D object pose estimation is a fundamental problem in computer vision. Convolutional Neural Networks (CNNs) have recently proven to be capable of predicting reliable 6D pose estimates even from monocular images. Nonetheless, CNNs are identified as being extremely data-driven, and acquiring adequate annotations is oftentimes very time-consuming and labor intensive. To overcome this shortcoming, we propose the idea of monocular 6D pose estimation by means of self-supervised learning, removing the need for real annotations. After training our proposed network fully supervised with synthetic RGB data, we leverage recent advances in neural rendering to further self-supervise the model on unannotated real RGB-D data, seeking for a visually and geometrically optimal alignment. Extensive evaluations demonstrate that our proposed self-supervision is able to significantly enhance the model's original performance, outperforming all other methods relying on synthetic data or employing elaborate techniques from the domain adaptation realm.

研究の動機と目的

• 単眼6次元オブジェクトポーズ推定のための実際の6次元姿勢アノテーションの取得にかかる高コストと困難さに対処すること。
• ドメイン適応技術や実際のアノテーションに依存せずに、合成データと実データの間のドメインギャップを埋めること。
• 微分可能ニューラルレンダリングを活用して、アノテーションのない実際のRGB-Dデータから自己教師付き学習を可能にすること。
• 実画像における視覚的および幾何的整合性のみを用いて、合成データで事前学習したモデルの一般化性能を向上させること。

提案手法

• 6次元姿勢が既知の大量の合成RGBデータを用いて、完全に教師あり学習で6次元ポーズ推定ネットワークを事前学習する。
• 入力画像を微分可能ニューラルレンダラーを用いて再構築することで、アノテーションのない実際のRGB-Dデータに対して自己教師付き学習を適用する。
• 推定された6次元ポーズから予測された3次元バウンディングボックスをレンダリングし、入力画像と比較することで幾何的整合性を強制する。
• ピxlsレベルの再構築損失と幾何的整合性損失を組み合わせたマルチコンponent損失を最適化してネットワークを最適化する。
• レンダリングプロセスを逆伝播可能にするために、微分可能ラスタライゼーションなどの微分可能レンダリング技術を活用する。
• 3次元オブジェクトモデルと予測された6次元ポーズを組み合わせたニューラルレンダリングパイプラインを用いて、微分可能な画像再構築を生成する。

実験結果

リサーチクエスチョン

• RQ1 アノテーションのない実際のRGB-Dデータからの自己教師付き学習が、6次元ポーズ推定の性能を著しく向上させることができるか？
• RQ2 微分可能ニューラルレンダリングを用いて、視覚的および幾何的整合性を自己教師付き学習に強制することは、6次元ポーズ推定においてどの程度有効か？
• RQ3 合成データで事前学習したモデルが、RGB-D入力のみを用いて実データで自己教師付き学習することで、性能がどの程度向上するか？
• RQ4 ニューラルレンダリングによる自己教師付き学習は、従来のドメイン適応やランダマイゼーション技術よりも、合成データと実データのギャップをより効果的に埋めることができるか？

主な発見

• Self6Dは、実際のアノテーションで学習したすべての最先端手法を上回り、HomebrewedDBでは40%の実データを使用した場合にmARが71%にまで上昇（ベースラインの31%から）した。
• LineMOD Occlusionデータセットでは、Self6Dは32.1%のmARを達成し、CDPN（20.8%）やDPOD（6.3%）を上回ったが、これは合成データでのみ学習し、実データで自己教師付き学習を行ったにもかかわらずである。
• Cropped LineMODベンチマークでは、平均角度誤差を19.8°から15.8°に削減し、PixelDA や DeceptionNet といったドメイン適応手法を上回った。
• モデルはほぼ最先端の性能を達成し、LineMOD Occlusionでは70.2%のmARを達成し、完全に教師ありのSelf6D-UBモデル（74% mAR）に非常に近い結果を示した。これは優れた一般化性能を示している。
• 本手法は高いデータ効率を示した：150枚（データの15%）の実画像のみを用いても、mARが31%からほぼ60%まで上昇し、少量の実データで急速に性能が向上することがわかった。