[論文レビュー] G2L-Net: Global to Local Network for Real-time 6D Pose Estimation with Embedding Vector Features

Wei Chen, Xi Jia+3 more|arXiv (Cornell University)|Mar 24, 2020

Robot Manipulation and Learning参考文献 46被引用数 9

ひとこと要約

G2L-Net は、RGB-D データ上でグローバルからローカルへのパイプラインを用いたリアルタイム 6D オブジェクトポーズ推定フレームワークであり、コンパクトな 3D サーフェスを用いた 3D 検索、ビューポイントに依存する情報を捉える点ごとの埋め込みベクトル特徴（EVF）、回転の残差推定器による回転予測の微調整を活用している。高い精度と速度を達成しており、GTX 1080 Ti で 23 fps で動作し、LINEMOD および YCB-Video データセットにおいて従来の深度ベース手法を上回っている。

ABSTRACT

In this paper, we propose a novel real-time 6D object pose estimation framework, named G2L-Net. Our network operates on point clouds from RGB-D detection in a divide-and-conquer fashion. Specifically, our network consists of three steps. First, we extract the coarse object point cloud from the RGB-D image by 2D detection. Second, we feed the coarse object point cloud to a translation localization network to perform 3D segmentation and object translation prediction. Third, via the predicted segmentation and translation, we transfer the fine object point cloud into a local canonical coordinate, in which we train a rotation localization network to estimate initial object rotation. In the third step, we define point-wise embedding vector features to capture viewpoint-aware information. To calculate more accurate rotation, we adopt a rotation residual estimator to estimate the residual between initial rotation and ground truth, which can boost initial pose estimation performance. Our proposed G2L-Net is real-time despite the fact multiple steps are stacked via the proposed coarse-to-fine framework. Extensive experiments on two benchmark datasets show that G2L-Net achieves state-of-the-art performance in terms of both accuracy and speed.

研究の動機と目的

• 複雑なシーンにおける深度情報の利用によるリアルタイムで高精度な 6D オブジェクトポーズ推定を達成する課題に対処すること。
• 照明やオクルージョンに敏感な RGB 僅どの手法の限界を克服すること。
• 新規な特徴表現を用いて、ビューポイント情報をより効果的に活用することで、深度ベースのポーズ推定を向上させること。
• 推論速度を犠牲にせずに、残差推定戦略を用いて回転の精度を向上させること。

提案手法

• オブジェクト点群の局所化のため、フリスツムではなく 3D サーフェスを用いることで、3D 検索空間をよりコンパクトな領域に削減する。
• トランスレーション局所化ネットワークが、粗い点群からのオブジェクトのトランスレーション推定と 3D 分割を実行する。
• 分類済みでトランスレーションされた点群を、局所的な標準座標系に変換することで、ビューポイントに依存する特徴学習を強化する。
• 点ごとの埋め込みベクトル特徴（EVF）を導入し、オブジェクトの各点にわたる詳細なビューポイント依存情報の捉え込みを実現する。
• 初期の回転予測を、予測値と真値の差分を学習することで、回転の残差推定器により微調整する。
• パイプライン全体がリアルタイム推論を最適化しており、1枚の GPU で 20 fps を超える性能を達成している。

実験結果

リサーチクエスチョン

• RQ1 RGB-D データを用いた 6D オブジェクトポーズ推定において、グローバルからローカルへのネットワーク設計が、精度と速度の両面で向上をもたらすか。
• RQ2 グローバル点特徴と比較して、点ごとの埋め込みベクトル特徴（EVF）は、ビューポイントに依存する情報をどれほど効果的に捉えられるか。
• RQ3 回転の残差推定器は、推論速度を低下させることなく、回転精度を顕著に向上させられるか。
• RQ4 3D サーフェスベースのオブジェクト局所化は、従来のフリスツムベース手法と比較して、コンパクト性とパフォーマンスの面で優れているか。
• RQ5 提案手法は、YCB-Video データセットのようなマルチオブジェクトシーンにおいても高い精度を維持できるか。

主な発見

• LINEMOD データセットでは、G2L-Net は平均 ADD 精度 93.0% を達成し、ベースラインの Frustum-P よりも 5.4%、2番目に優れた深度ベース手法よりも 2.4% 高い。
• LINEMOD データセットでは、G2L-Net は 21 fps で動作し、2番目に優れた深度ベース手法の約 3 倍速い。
• YCB-Video データセットでは、G2L-Net は AUC 精度 92.4% を達成し、最良のパフォーマンスを示した手法と同等の精度を示したが、21 fps で動作し、最も高速であった。
• 回転の残差推定器は、特に形状が複雑またはテクスチャが少ないオブジェクトにおいて、精度向上に顕著な貢献をした。
• GTX 1080 Ti GPU では 23 fps を達成しており、2D 検出に 11ms、ポーズ推定に 32ms を要し、リアルタイム性能を実証した。