[論文レビュー] 3D object reconstruction and 6D-pose estimation from 2D shape for robotic grasping of objects

Marcell Wolnitza, Osman Nafız Kaya+3 more|arXiv (Cornell University)|Mar 2, 2022

Robotics and Sensor-Based Localization被引用数 5

ひとこと要約

本稿では、2次元形状マッチングを主な手がかりとして用い、単眼またはステレオRGB画像から6次元姿勢推定と3次元オブジェクト再構成を行う手法を提示する。事前学習済みの2次元セグメンテーション（ResNet50V2）を活用し、観測されたオブジェクトの輪郭と事前に計算された3次元モデルの2次元投影を比較することで、カメラ座標系における姿勢推定と3次元点群再構成を実現し、DOPEなどの最先端のディープラーニング手法と同等のグリップ成功率を達成した。プレートでは100%、コップでは80%の成功を達成した。

ABSTRACT

We propose a method for 3D object reconstruction and 6D-pose estimation from 2D images that uses knowledge about object shape as the primary key. In the proposed pipeline, recognition and labeling of objects in 2D images deliver 2D segment silhouettes that are compared with the 2D silhouettes of projections obtained from various views of a 3D model representing the recognized object class. By computing transformation parameters directly from the 2D images, the number of free parameters required during the registration process is reduced, making the approach feasible. Furthermore, 3D transformations and projective geometry are employed to arrive at a full 3D reconstruction of the object in camera space using a calibrated set up. Inclusion of a second camera allows resolving remaining ambiguities. The method is quantitatively evaluated using synthetic data and tested with real data, and additional results for the well-known Linemod data set are shown. In robot experiments, successful grasping of objects demonstrates its usability in real-world environments, and, where possible, a comparison with other methods is provided. The method is applicable to scenarios where 3D object models, e.g., CAD-models or point clouds, are available and precise pixel-wise segmentation maps of 2D images can be obtained. Different from other methods, the method does not use 3D depth for training, widening the domain of application.

研究の動機と目的

• 3次元深度データや6次元姿勢アノテーションを訓練に要せず、2次元RGB画像からの正確な3次元オブジェクト再構成と6次元姿勢推定を可能にすること。
• 色やテクスチャに依存せず、2次元形状と輪郭を普遍的な手がかりとして用いることで、姿勢と構造推定を実現する手法の開発。
• キャリブレーション済みの単眼またはステレオカメラセットと実際の3次元オブジェクトモデルを用いて、実世界のロボットグリップに実用可能であることを示すこと。
• 再現可能性とベンチマークのため、マルチビュー画像、3次元モデル、カメラパラメータを含むデータセットの提供。
• 高価な3次元データや複雑な6次元姿勢の監視を避けるために、2次元セグメンテーションマスクのみを用いることで、3次元データ依存性の低減。

提案手法

• ディープラーニングベースのResNet50V2モデルが、2次元RGB画像におけるインスタンスセグメンテーションとオブジェクト分類を実行し、正確な2次元オブジェクト輪郭を抽出する。
• CADや3次元スキャンから得た3次元オブジェクトモデルの複数の視点からの事前計算済み2次元輪郭を生成し、参照データベースを構築する。
• 観測された画像からの2次元輪郭と、3次元モデルデータベース内の最も類似した2次元投影を、幾何的類似性指標を用いてマッチングする。
• 変換パラメータ（回転と並進）を2次元対応点から直接推定することで、登録における自由パラメータ数を削減する。
• 推定された6次元姿勢を3次元モデル点群に適用し、キャリブレーション済みの内部パラメータと外部パラメータを用いて、カメラ座標系に変換することで3次元再構成を達成する。
• 対称的または繰り返し構造を持つオブジェクトの姿勢のあいまいさを解消するために、2台目のカメラを用いる。

実験結果

リサーチクエスチョン

• RQ1 2次元オブジェクト輪郭のみで、実世界のロボット作業環境において正確な6次元姿勢推定と3次元再構成が可能か？
• RQ2 3次元監視や複雑な特徴学習に依存するディープラーニング手法と比較して、古典的で形状に基づくアプローチがどの程度性能を発揮できるか？
• RQ3 薄型または対称的な構造（スプーンやボックスなど）を持つオブジェクトに対して、この手法はどの程度の性能を示すか？
• RQ4 3次元深度データや6次元姿勢アノテーションを一切不要とし、2次元セグメンテーションマスクと3次元モデルの事前知識のみで、高いグリップ成功率を達成できるか？
• RQ5 2台目のカメラの導入が、対称的または曖昧なオブジェクトの姿勢推定において、どの程度の耐障害性向上をもたらすか？

主な発見

• プレートではグリップ実験で100%の成功率、コップでは80%、ボトルでは90%の成功率を達成した。
• 薄く細長い構造のスプーンは40%の成功率を示し、これはDOPEを用いたYCBのスープ缶実験（58.3%）と比較して同等の水準であった。
• ボトル、ボックス、コップ、プレートに関しては、合成データでは90–100%の成功率を達成した。ボックスは実世界のテストで、広い形状のためわずかに成績が低かった。
• 3次元監視を用いる最先端のDOPE手法と同等の性能を示したが、学習には2次元セグメンテーションマスクのみを用いた。
• Linemodデータセットへの応用に成功し、姿勢推定モジュールがPoseCNNと比較可能であることを示し、汎用性の高さを裏付けた。
• 本研究では、マルチビュー画像、3次元モデル、カメラパラメータを含む新しいデータセットを公開し、再現可能性と今後のベンチマークに貢献した。