[論文レビュー] Learning a Disentangled Embedding for Monocular 3D Shape Retrieval and Pose Estimation

Kyaw Zaw Lin, Weipeng Xu+3 more|arXiv (Cornell University)|Dec 24, 2018

3D Shape Modeling and Analysis参考文献 41被引用数 8

ひとこと要約

本稿では、3次元占有グリッドから形状とポーズの不変ベクトルを別々に学習することで、単眼3次元形状検索と6次元ポーズ推定を同時に実行する分離型埋め込みネットワークを提案する。この手法は、Pascal3D+で3次元形状検索のトップ1正解率0.592、ポーズ推定の中央値誤差10.3度という最先端性能を達成し、形状とポーズ表現を明示的に分離することでバイアスを低減し、一般化性能を向上させた。

ABSTRACT

We propose a novel approach to jointly perform 3D shape retrieval and pose estimation from monocular images.In order to make the method robust to real-world image variations, e.g. complex textures and backgrounds, we learn an embedding space from 3D data that only includes the relevant information, namely the shape and pose. Our approach explicitly disentangles a shape vector and a pose vector, which alleviates both pose bias for 3D shape retrieval and categorical bias for pose estimation. We then train a CNN to map the images to this embedding space, and then retrieve the closest 3D shape from the database and estimate the 6D pose of the object. Our method achieves 10.3 median error for pose estimation and 0.592 top-1-accuracy for category agnostic 3D object retrieval on the Pascal3D+ dataset, outperforming the previous state-of-the-art methods on both tasks.

研究の動機と目的

• 単眼画像を用いた3次元形状検索におけるポーズ変動の課題と、ポーズ推定におけるカテゴリカルバイアスの問題に対処すること。
• レンダリング済み画像ではなく3次元データから学習することで、実画像と合成学習データの間のドメインギャップを低減すること。
• 共有埋め込み空間において形状とポーズ表現を明示的に分離することで、一般化性能を向上させること。
• 1つのカテゴリに依存しないネットワークを用いて、3次元形状検索と6次元ポーズ推定を同時に実行できること。
• トレーニング中にCADモデルのポーズ変化を網羅的にマルチビューでレンダリングする必要をなくすこと。

提案手法

• オブジェクトをさまざまなポーズで配置した3次元占有グリッドを用いてCNNを学習させ、形状とポーズのベクトルが別々に得られる分離型埋め込み空間を学習する。
• 対照的損失を用いて分離性を強制し、形状ベクトルがポーズに依存せず、ポーズベクトルが形状に依存しないように保証する。
• 2次元画像からの特徴を、分離型形状およびポーズ埋め込み空間に回帰するための2番目のCNNを訓練する。
• 6次元回転表現に基づくハイブリッド分類・回帰戦略を採用し、ポーズ推定の精度を向上させる。
• 3次元ボリュームをランダムなポーズでオーグメントすることで、事前に全ポーズ変化をレンダリングするのではなく、オンラインでトレーニングサンプルを生成する。
• 形状埋め込み空間内で最近傍の特徴を検索することで検索を実行し、ポーズはポーズベクトルから直接推定する。

実験結果

リサーチクエスチョン

• RQ1 形状とポーズの分離型埋め込み空間は、ポーズ変動に対して頑健な3次元形状検索を実現できるか？
• RQ2 形状とポーズの分離による共同学習は、ポーズ推定におけるカテゴリカルバイアスを低減できるか？
• RQ3 レンダリング済み画像ではなく3次元占有グリッドから学習することで、実画像と合成データ間のドメインシフトを緩和できるか？
• RQ4 1つのカテゴリに依存しないネットワークが、3次元検索とポーズ推定の両方で最先端性能を達成できるか？
• RQ5 遮蔽・切断・小さなオブジェクトのような困難なケースに、この手法はどのように一般化するか？

主な発見

• カテゴリに依存しない3次元形状検索において、トップ1正解率0.592を達成し、従来の最先端手法を上回った。
• Pascal3D+データセット上で中央値ポーズ誤差が10.3度にまで低下し、従来手法と比較して顕著な改善が得られた。
• 切断や遮蔽されたオブジェクトで性能が最も低下し、トップ1正解率はそれぞれ0.464および0.498にまで低下した。
• ボートカテゴリではポーズ推定誤差が最も高く、140度を超える誤差が40％以上を占めており、前後逆転の曖昧さが原因とされる。
• 失敗事例の主な原因は、小さな、ぼやけた、または曇ったオブジェクト、およびデータセット内のアノテーションの曇り具合にある。
• 分離型表現により、マルチビューのレンダリングやカテゴリ特化型サブネットワークを必要とせずに頑健な性能を達成できた。