[論文レビュー] CloudAAE: Learning 6D Object Pose Regression with On-line Data Synthesis on Point Clouds

Ge Gao, Mikko Lauri+3 more|arXiv (Cornell University)|Mar 2, 2021

Robot Manipulation and Learning参考文献 35被引用数 4

ひとこと要約

本稿では、軽量でオンラインなデータ合成パイプラインと、ポーズに不変な潜在コードを学習する拡張自己オートエンコーダ（AAE）を用いて、深度点群からポーズを回帰する6次元物体ポーズ推定システムであるCloudAAEを提案する。本手法は、LineMODにおいて合成学習のみの手法として最先端の性能を達成しており、RGBベースのPBR手法に比べて学習データ生成速度が最大1,000倍速い。

ABSTRACT

It is often desired to train 6D pose estimation systems on synthetic data because manual annotation is expensive. However, due to the large domain gap between the synthetic and real images, synthesizing color images is expensive. In contrast, this domain gap is considerably smaller and easier to fill for depth information. In this work, we present a system that regresses 6D object pose from depth information represented by point clouds, and a lightweight data synthesis pipeline that creates synthetic point cloud segments for training. We use an augmented autoencoder (AAE) for learning a latent code that encodes 6D object pose information for pose regression. The data synthesis pipeline only requires texture-less 3D object models and desired viewpoints, and it is cheap in terms of both time and hardware storage. Our data synthesis process is up to three orders of magnitude faster than commonly applied approaches that render RGB image data. We show the effectiveness of our system on the LineMOD, LineMOD Occlusion, and YCB Video datasets. The implementation of our system is available at: https://github.com/GeeeG/CloudAAE.

研究の動機と目的

• 6次元ポーズ推定におけるRGBベースの合成データの高コストさとドメインギャップを解消すること。
• テクスチャなしの3次元モデルと所望の視点のみを用いて、深度のみの点群を用いて学習データ生成コストを低減しながら、高いポーズ推定精度を維持すること。
• テクスチャなしの3次元モデルと所望の視点のみを入力として用いる、軽量でオンラインなデータ合成パイプラインを構築すること。
• ポーズに依存しない特徴のみを符号化するAAEから得られる潜在コードを用いて、正確な6次元ポーズ回帰を実現すること。
• LineMODのようなベンチマークデータセットにおいて、合成データのみを用いて最先端の性能を示すことを実証すること。

提案手法

• 本システムは、入力の拡張により非ポーズ関連の変動に対して不変であるように、6次元物体ポーズを符号化する潜在コードを学習する点群ベースの拡張自己オートエンコーダ（AAE）を用いる。
• AAEは、ノイズおよび遮蔽のない点群セグメントを所望の6次元ポーズに再構築することで、潜在コードがポーズ関連の情報のみを捉えるように保証する。
• 潜在コードは、3次元回転と3次元並進を独立して回帰する2つの別個のディープニューラルネットワークに供給される。
• オンラインなデータ合成パイプラインは、テクスチャなしの3次元モデルと所望の視点のみを用いて合成点群セグメントを生成し、高価なPBRレンダリングを回避する。
• 1つのGPUで128セグメントあたり30ms未満で合成データが生成され、13個のオブジェクトと10万のポーズに対して128MBのストレージで十分である。
• 予測後処理として標準的なICPリファインメントを用いることで精度を向上させており、追加で0.02秒の推論コストがかかる。

Figure 1: Left, Data synthesis pipeline. The input for our on-line training pipeline is a 3D object model $P^{O}$ with class information, and the desired 3D rotation $R$ and translation $\mathbf{t}$ . $P^{O}$ is at object coordinate $O$ . With $R$ and $\mathbf{t}$ , the object model is first transfo

実験結果

リサーチクエスチョン

• RQ1 軽量でオンラインな点群合成パイプラインは、6次元ポーズ推定において高コストなPBRベースのRGBレンダリングに置き換え可能か？
• RQ2 AAEに基づく潜在コードは、点群内の他の変動からポーズ情報を有効に分離できるか？
• RQ3 合成深度点群のみで学習した6次元ポーズ推定器は、実世界のベンチマークで最先端の性能を達成できるか？
• RQ4 合成学習データの量と潜在コードの次元数が一般化性能および精度に与える影響は何か？
• RQ5 合成データと実データの間のドメインギャップは性能にどの程度影響を及ぼし、深度のみの合成によってこれを軽減できるか？

主な発見

• LineMODデータセットにおいて、本手法は1オブジェクトあたり10万個の合成サンプルを用いて平均82.1%のADD-S精度を達成し、他の合成データ専用手法を上回った。
• 1クラスあたり10万サンプルを用いた場合、モデルはほぼ最適な性能を発揮したが、100万サンプルに増加させてもさらなる向上は得られず、データ効率が優れていることが示された。
• 1024次元の潜在コードが最良の一般化性能を示し、回転および並進の両方の回帰が最適に動作した。
• 本システムの合成データ生成は、PBRベースのRGBレンダリングに比べ最大1,000倍速く、13個のオブジェクトと10万のポーズに対して128MBのストレージで十分である。
• YCB-Videoにおいて、本手法は実データと組み合わせた場合、DenseFusion や PVN3D などのRGBDベース手法と同等の性能を発揮した。
• T-SNE可視化により、学習された潜在コードがオブジェクトクラスごとに明確にクラスタリングされていることが確認され、有効なポーズ符号化が行われていることが示された。

Figure 2: Point cloud based Augmented Autoencoder. The numbers of neurons in EC-MLP and MLP layers are indicated in parentheses. EC is short for EdgeConv. Dimensions of intermediate features are indicated without parentheses. Skip connections denote the concatenation of edge features. For the encode