[論文レビュー] SilhoNet: An RGB Method for 3D Object Pose Estimation and Grasp Planning.

Gideon Billings, Matthew Johnson‐Roberson|arXiv (Cornell University)|Sep 18, 2018

Robot Manipulation and Learning参考文献 23被引用数 11

ひとこと要約

SilhoNet は、ROI提案からオブジェクトの輪郭と遮蔽マスクを予測するCNNパイプラインを用いた、RGBのみの新規手法であり、これらの輪郭から3次元姿勢を回帰することで6次元オブジェクトポーズ推定と grasping プランニングを実現する。単眼画像のみを用いて YCB-Video データセットで最先端の性能を達成した。

ABSTRACT

Autonomous robot manipulation involves estimating the translation and orientation of the object to be manipulated as a 6-degree-of-freedom (6D) pose. Methods using RGB-D data have shown great success in solving this problem. However, there are situations where cost constraints or the working environment may limit the use of RGB-D sensors. When limited to monocular camera data only, the problem of object pose estimation is very challenging. In this work, we introduce a novel method called SilhoNet that predicts 6D object pose from monocular images. We use a Convolutional Neural Network (CNN) pipeline that takes in Region of Interest (ROI) proposals to simultaneously predict an intermediate silhouette representation for objects with an associated occlusion mask and a 3D translation vector. The 3D orientation is then regressed from the predicted silhouettes. We show that our method achieves better overall performance on the YCB-Video dataset than two state-of-the art networks for 6D pose estimation from monocular image input.

研究の動機と目的

• コストや環境的制約によりRGB-Dセンサが不適切な環境における6次元オブジェクトポーズ推定の課題に対処すること。
• 深度センサに依存せずに、単眼RGB入力のみを用いて正確な6次元ポーズ推定と grasping プランニングを可能にすること。
• オブジェクトの輪郭と遮蔽マスクを同時に予測する深層学習パイプラインを構築し、ポーズ推定のロバスト性を向上させること。
• 中間の輪郭表現を監視信号として活用することで、単眼6次元ポーズ推定の性能を向上させること。
• RGB入力のみでYCB-Videoベンチマークで最先端の結果を達成し、単眼環境における輪郭ベース推論の有効性を示すこと。

提案手法

• シーン内の個々のオブジェクトを局所化・注目するために、領域 of interest (ROI) 提案をCNNベースのパイプラインの入力として使用する。
• 各オブジェクト提案に対して、中間の輪郭表現と関連する遮蔽マスクを同時に予測するようにネットワークを訓練する。
• 予測された輪郭を、6次元ポーズ空間におけるオブジェクトの3次元姿勢を回帰するための監視信号として使用する。
• ROI特徴量から直接3次元移動ベクトルを予測することで、完全な6次元ポーズ推定を実現する。
• 輪郭の幾何的整合性を活用して、遮蔽や視点変化に対して一般化性とロバスト性を向上させる。
• 輪郭再構成、遮蔽マスク予測、6次元ポーズ回帰を組み合わせたマルチタスク損失を用いて、エンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 深度監視なしに単眼RGBベースの手法が、競争力のある6次元オブジェクトポーズ推定性能を達成できるか？
• RQ2 中間の輪郭表現を予測することで、直接回帰と比較して6次元ポーズ推定の精度が向上するか？
• RQ3 提案手法は、現実のロボットマニピュレーションシナリオにおける遮蔽や視点変化をどのように処理するか？
• RQ4 単眼環境において、輪郭ベースの表現が3次元姿勢回帰の有効な監視信号として機能できるか？
• RQ5 標準ベンチマークにおいて、SilhoNet は最先端のRGBオンリーポーズ推定ネットワークと比較してどのように性能を発揮するか？

主な発見

• SilhoNet は、単眼RGB入力のみを用いてYCB-Videoデータセットにおける6次元オブジェクトポーズ推定で最先端の性能を達成した。
• 輪郭と併せて遮蔽マスクを明示的に予測することで、遮蔽に対するロバスト性が向上した。
• 中間の輪郭予測を用いることで、直接回帰ベースラインと比較して、より正確な3次元姿勢回帰が実現した。
• 部分的なオブジェクト可視性がある困難なシナリオでも、6次元ポーズ推定において高い精度を達成した。
• 性能向上の要因は、トレーニング中に輪郭表現が提供する幾何的インダクティブバイアスに起因するとされた。
• YCB-Videoベンチマークにおいて、2つの最先端の単眼6次元ポーズ推定ネットワークを上回る性能を発揮した。