[論文レビュー] 3D Object Detection and Pose Estimation of Unseen Objects in Color Images with Local Surface Embeddings

Giorgia Pitteri, Aurélie Bugeau+2 more|arXiv (Cornell University)|Oct 8, 2020

Robot Manipulation and Learning参考文献 63被引用数 27

ひとこと要約

本論文は、再訓練を必要とせず、CADモデルとRGB画像のみを用いて未学習で未テクスチャの物体の6次元姿勢推定を実現する新規手法を提案する。学習可能な局所的表面埋め込み（LSE）を用いてRGB画像から2次元-3次元対応点を確立し、クラスに依存しないMask R-CNNを組み合わせて物体セグメンテーションを実現し、RANSACとPnPを用いてロバストに姿勢を推定する。T-LESSベンチマークにおいて、深度情報や正例バウンディングボックスを必要とせず、最先端の性能を達成した。

ABSTRACT

We present an approach for detecting and estimating the 3D poses of objects in images that requires only an untextured CAD model and no training phase for new objects. Our approach combines Deep Learning and 3D geometry: It relies on an embedding of local 3D geometry to match the CAD models to the input images. For points at the surface of objects, this embedding can be computed directly from the CAD model; for image locations, we learn to predict it from the image itself. This establishes correspondences between 3D points on the CAD model and 2D locations of the input images. However, many of these correspondences are ambiguous as many points may have similar local geometries. We show that we can use Mask-RCNN in a class-agnostic way to detect the new objects without retraining and thus drastically limit the number of possible correspondences. We can then robustly estimate a 3D pose from these discriminative correspondences using a RANSAC- like algorithm. We demonstrate the performance of this approach on the T-LESS dataset, by using a small number of objects to learn the embedding and testing it on the other objects. Our experiments show that our method is on par or better than previous methods.

研究の動機と目的

• 未知の未テクスチャの産業用物体に対して、CADモデルとRGB画像のみを用いて再訓練を必要とせずに6次元姿勢推定を可能にすること。
• 実世界の産業的状況における対称的・未テクスチャ・未学習物体の姿勢のあいまいさという課題に対処すること。
• 回転に対して不変で、遮蔽に対してロバストな幾何的埋め込みを学習することで、物体カテゴリを越えて汎用性を発揮する手法を開発すること。
• 推論時に深度データ、正例バウンディングボックス、正例マスクに依存しないようにすること。

提案手法

• 回転に対して不変な、表面点の周囲の3次元幾何構造を捉える学習可能な局所的表面埋め込み（LSE）を導入する。
• 既知の物体の合成画像を用いて深層ニューラルネットワークを訓練し、入力RGB画像の各ピクセルに対してLSEを予測する。
• 画像ピクセルからのLSEを、CADモデル上の3次元点に事前に計算したLSEと照合することで、2次元-3次元対応点を確立する。
• クラスに依存しないMask R-CNNを用いて、画像内での未知物体を検出し、セグメンテーションすることで、対応点が同一物体上に位置することを制約し、あいまいさを低減する。
• 一致した対応点に対してRANSACとPnPsolverを適用し、6次元物体姿勢をロバストに推定する。
• LSEの幾何的不変性と、クラスに依存しないMask R-CNNのゼロショットセグメンテーション能力を活用することで、新しい物体へも一般化可能となる。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、再訓練を必要とせず、未学習で未テクスチャの物体に一般化可能なRGB画像からの局所的表面埋め込みを予測できるか？
• RQ2 物体が未テクスチャで対称的であり、事前知識や正例アノテーションが存在しない状況でも、2次元-3次元対応点をロバストに確立できるか？
• RQ3 クラスに依存しないMask R-CNNは、画像内での未知物体を効果的にセグメンテーションし、RANSACのサンプリングを制約して姿勢のあいまいさを低減できるか？
• RQ4 T-LESSベンチマークにおいて、本手法は最先端の手法と比較して、姿勢の正確性と未学習カテゴリへの一般化性能で優れているか？
• RQ5 深度データや正例バウンディングボックスを一切使用しない状況でも、競争力のある性能を達成できるか？

主な発見

• BOPベンチマークプロトコルにおいて、平均VSDリコールが23.27を達成し、MP-Encoder（20.53）を上回り、未学習物体への一般化性能が顕著に優れている。
• T-LESSテストセットでは15個の未知物体のうち13個でCorNetを上回り、平均精度46.7%（±12.0）を達成しており、高いロバスト性と一般化性能を示している。
• 角のない丸みを帯びた形状の物体に対しても、コーナー検出依存の手法とは異なり、定性的な結果から本手法が有効に機能していることが示された。
• LSE予測ネットワークはテクスチャのある物体に対しても良好に一般化できており、T-LESSの物体にランダムなテクスチャを付与した場合でも、LSEの予測が成功している。
• 深度データ、正例マスク、バウンディングボックスを一切必要としないため、実産業での導入に適している。
• LSEの回転不変性とマスク付き対応点を用いたRANSACの組み合わせにより、遮蔽や対称性に対してもロバストである。