[論文レビュー] MegaPose: 6D Pose Estimation of Novel Objects via Render & Compare

Yann Labbé, Lucas Manuelli+8 more|arXiv (Cornell University)|Dec 13, 2022

Robot Manipulation and Learning被引用数 68

ひとこと要約

MegaPose は、推論時に新規オブジェクトの6D姿勢を推定する。レンダリングと比較のリファインメントパイプラインと新規の粗姿勢推定器を用い、大規模な合成データセットで訓練され、ModelNet で最先端の結果、BOP でオブジェクト特異的な訓練なしに競争力のある結果を達成する。

ABSTRACT

We introduce MegaPose, a method to estimate the 6D pose of novel objects, that is, objects unseen during training. At inference time, the method only assumes knowledge of (i) a region of interest displaying the object in the image and (ii) a CAD model of the observed object. The contributions of this work are threefold. First, we present a 6D pose refiner based on a render&compare strategy which can be applied to novel objects. The shape and coordinate system of the novel object are provided as inputs to the network by rendering multiple synthetic views of the object's CAD model. Second, we introduce a novel approach for coarse pose estimation which leverages a network trained to classify whether the pose error between a synthetic rendering and an observed image of the same object can be corrected by the refiner. Third, we introduce a large-scale synthetic dataset of photorealistic images of thousands of objects with diverse visual and shape properties and show that this diversity is crucial to obtain good generalization performance on novel objects. We train our approach on this large synthetic dataset and apply it without retraining to hundreds of novel objects in real images from several pose estimation benchmarks. Our approach achieves state-of-the-art performance on the ModelNet and YCB-Video datasets. An extensive evaluation on the 7 core datasets of the BOP challenge demonstrates that our approach achieves performance competitive with existing approaches that require access to the target objects during training. Code, dataset and trained models are available on the project page: https://megapose6d.github.io/.

研究の動機と目的

• 未知のオブジェクトの6D姿勢推定を、CAD モデルと関心領域の画像だけで実現する。
• 訓練時に物体特有の対称性知識を必要としない粗姿勢推定器を開発する。
• 複数の合成ビューをレンダリングできるリファインメントネットワークを設計し、 unseen objects に一般化する。
• 未知のオブジェクトへの一般化を改善するために、大規模な合成データセットを活用する。
• ModelNet および BOP データセットで評価し、最先端または競争力のある性能を示す。

提案手法

• 観測画像と最も適合するレンダリング済みビューを選択する分類モデルによる粗姿勢推定で、対称性の扱いを可能にする。
• 初期姿勢が与えられたとき、アンカー点を基準点として複数のビューをレンダリングし、分離した回転/平行移動の定式化で姿勢更新を予測する。
• アンカーを画像中心に射影してアンカー点の処理を行い、複数の視点を用いて位置を推定することで、未知オブジェクトへの一般化を実現する。
• 入力はRGBまたはRGB-Dで、ResNet-34のバックボーンの後に粗モデルの単一の全結合層とリファイナーの9次元出力を持つ。
• 大規模な合成データセット（2百万枚の画像）をShapeNetとGoogle Scanned Objectsから生成し、データ増強と深度/法線チャンネルで現実味と遮蔽の頑健性を向上させる。
• 深度/法線チャンネルを含め、深度入力を正規化してオブジェクト間でのスケール一般化を助ける。

実験結果

リサーチクエスチョン

• RQ1 合成データとレンダリングと比較によるリファインメントを用いて、訓練時に見られなかった新規オブジェクトへ一般化できる6D姿勢推定器を訓練できるか。
• RQ2 Explicit symmetry information を用いずに訓練された粗姿勢推定器が、新規オブジェクトのリファインメントを効果的に初期化できるか。
• RQ3 大規模な合成データが、多様なベンチマークで新規オブジェクトの一般化にどのように影響するか。
• RQ4 テスト時にオブジェクトが新規である場合、ModelNet、YCB-Video、そして7つのBOPコアデータセットで MegaPose の性能はどうなるか。

主な発見

• 粗-リファイナーパイプラインは初期姿勢推定を大幅に改善し、ターゲットオブジェクトの訓練を必要とせずに、いくつかのベンチマークで競争力または優越的な結果を達成する。
• MegaPose の RGB-D 変種は、Zephyr などの従来法と比較して YCB-V および LM-O で顕著な AR 改善をもたらし、ベンチマーク対で平均的な改善を報告。
• リファイナーは顕著な利益をもたらし（例: RGB-D で +41.0 AR）、RTX 2080 で一回の反復あたり約50 ms の実行時間でほぼリアルタイムのリファインを可能にする。
• 大規模で多様な合成データセットで訓練すると未知オブジェクトへの一般化が大幅に向上し、訓練オブジェクトの数と多様性が増えるほど性能が向上するのをアブレーションで示している。
• ModelNet では MegaPose のリファイナーが MP-AAE や LatentFusion などの最先端手法を複数の指標で上回る。
• 7つの BOP コアデータセット全体で MegaPose は強力な性能を示し、訓練時にターゲットオブジェクトへアクセスを必要とする手法と競合する。