[論文レビュー] Learning Canonical Shape Space for Category-Level 6D Object Pose and Size Estimation

Dengsheng Chen, Jun Li+2 more|arXiv (Cornell University)|Jan 25, 2020

3D Shape Modeling and Analysis参考文献 26被引用数 9

ひとこと要約

本稿では、variational auto-encoder (VAE) を用いて多様な3D形状で訓練された標準形状空間（CASS）を学習することで、CADモデルを必要とせず、照合情報なしのカテゴリレベル6次元物体ポーズとサイズ推定のためのアプローチを提案する。この手法は、RGBD画像をCASS内でのビュー因子化・ポーズに依存しない形状表現に埋め込み、ポーズ依存特徴とのコントラストマッチングによりポーズを推定する。ベンチマークデータセット上で最先端の精度を達成している。

ABSTRACT

We present a novel approach to category-level 6D object pose and size estimation. To tackle intra-class shape variations, we learn canonical shape space (CASS), a unified representation for a large variety of instances of a certain object category. In particular, CASS is modeled as the latent space of a deep generative model of canonical 3D shapes with normalized pose. We train a variational auto-encoder (VAE) for generating 3D point clouds in the canonical space from an RGBD image. The VAE is trained in a cross-category fashion, exploiting the publicly available large 3D shape repositories. Since the 3D point cloud is generated in normalized pose (with actual size), the encoder of the VAE learns view-factorized RGBD embedding. It maps an RGBD image in arbitrary view into a pose-independent 3D shape representation. Object pose is then estimated via contrasting it with a pose-dependent feature of the input RGBD extracted with a separate deep neural networks. We integrate the learning of CASS and pose and size estimation into an end-to-end trainable network, achieving the state-of-the-art performance.

研究の動機と目的

• 未学習のインスタンスに対してCADモデルが利用できないカテゴリレベル6次元物体ポーズ推定におけるクラス内形状変動の課題に対処すること。
• カテゴリ内に存在する多様な形状変動を捉える統一的かつ一般化可能な形状表現を構築すること。
• 密な対応情報や真値のCADモデルに依存せずに、単一視点RGBD画像からの正確な6次元ポーズとサイズ推定を可能にすること。
• メトリックサイズの3D形状を再構築することでポーズとサイズ推定を分離し、学習の複雑さを低減すること。
• 一般化性能を向上させるために、標準形状空間の学習とポーズ/サイズ推定を統合したエンドツーエンドで微分可能なフレームワークを設計すること。

提案手法

• 大規模かつカテゴリを跨ぐ3D形状のコレクションを用いてVAEを訓練し、正規化されたポーズとメトリックサイズを持つ潜在的標準形状空間（CASS）を学習する。
• VAEエンコーダーを改良し、RGBD画像と3D形状の両方を入力とすることで、実世界のRGBD-形状ペairedデータが不足する中でも、市販の3Dリポジトリを活用した学習を可能にする。
• 入力画像を任意の視点からCASS潜在空間にマッピングすることで、ビュー因子化・ポーズに依存しないRGBD埋め込みを学習する。
• 別個の深層ニューラルネットワークを用いて入力RGBDからポーズ依存特徴を抽出し、CASS埋め込みとコントラスト比較を行う。
• 重み共有とバッチミキシングを用いて、ポーズに依存しない（CASS）特徴とポーズに依存する特徴の間の分布マッチングを実装し、学習の安定性を向上させる。
• CASS学習、形状再構築、ポーズ/サイズ推定を統合したエンドツーエンド微分可能なネットワークとして組み込み、共同最適化を実現する。

実験結果

リサーチクエスチョン

• RQ1 学習された標準形状空間は、カテゴリレベル6次元物体ポーズ推定におけるクラス内形状変動を効果的に表現できるか？
• RQ2 顕著な形状変動下でも、ポーズに依存しない特徴とポーズに依存する特徴のコントラストマッチングは、密な対応ベースの手法を上回る性能を示すか？
• RQ3 VAEベースのアプローチは、単一視点RGBD画像からメトリックサイズの3D形状再構築と6次元ポーズ推定を同時に学習できるか？
• RQ4 ポーズに依存しない特徴とポーズに依存する特徴の間の分布マッチングは、学習の安定性と精度向上にどの程度寄与するか？
• RQ5 本手法は、CADモデルなしで未学習の物体インスタンスに対してもどの程度一般化できるか？

主な発見

• 本手法全体は、84.2%のmAP、77.7%のIoU@25、5°/5cmで23.5%、10°/10cmで58.3%の性能を達成し、カテゴリレベルポーズ推定ベンチマークで先行研究を上回った。
• アブレーションスタディの結果、CASS学習が最も重要な要素であり、その除去により特に5°/5cmおよび10°/10cmの指標で性能が著しく低下した。
• バッチミキシングと分布マッチングは、学習の安定性と特徴の整合性向上に不可欠であり、それらを除去すると顕著な精度低下が生じた。
• VAEを自動符号化器（AE）に置き換えると一般化性能が低下し、VAEのインダクティブバイアスがより強固で多様なCASS空間を生成するのに寄与していることが示された。
• 本手法はメトリックサイズの3Dポイントクラウドを再構築でき、遮蔽や背景の雑音下でも正確なサイズ推定が可能であり、ロボットハンドリングの支援に適している。
• 定性的な結果では、特に遮蔽などの困難な条件下でも、NOCSに比べてサイズ推定と形状再構築の両面で優れた性能を示した。