[論文レビュー] Cross-Domain 3D Equivariant Image Embeddings

Carlos Esteves, Avneesh Sud+3 more|arXiv (Cornell University)|Dec 6, 2018

3D Shape Modeling and Analysis被引用数 8

ひとこと要約

本稿では、事前学習された球面畳み込みニューラルネットワーク（spherical CNN）を教師信号として用い、2次元画像を3次元回転に不変な球面特徴埋め込みにマップするクロスドメインニューラルネットワークを提案する。回転に不変な潜在空間に画像を埋め込むことで、タスク固有の微調整なしにゼロショット応用が可能となり、相対姿勢推定や新規ビュー合成が実現可能であり、オブジェクトカテゴリをまたいで3次元姿勢推定および耐障害性の高いビュー合成で最先端の性能を達成した。

ABSTRACT

Spherical convolutional networks have been introduced recently as tools to learn powerful feature representations of 3D shapes. Spherical CNNs are equivariant to 3D rotations making them ideally suited to applications where 3D data may be observed in arbitrary orientations. In this paper we learn 2D image embeddings with a similar equivariant structure: embedding the image of a 3D object should commute with rotations of the object. We introduce a cross-domain embedding from 2D images into a spherical CNN latent space. This embedding encodes images with 3D shape properties and is equivariant to 3D rotations of the observed object. The model is supervised only by target embeddings obtained from a spherical CNN pretrained for 3D shape classification. We show that learning a rich embedding for images with appropriate geometric structure is sufficient for tackling varied applications, such as relative pose estimation and novel view synthesis, without requiring additional task-specific supervision.

研究の動機と目的

• 3次元から2次元への非線形射影があるにもかかわらず、3次元物体の回転に対して不変な2次元画像埋め込みを学習すること。
• タスク固有の監視なしに、相対姿勢推定や新規ビュー合成などの下流タスクを可能にすること。
• 事前学習済みの球面CNNの3次元回転に不変な特徴を教師信号として用い、画像埋め込みの学習を支援すること。
• 1つの幾何学的注意を払った埋め込み空間が、多様なビジョンタスクを同時にサポートできることを示すこと。

提案手法

• 2次元画像を事前学習済みの球面CNNの潜在特徴空間にマップするクロスドメインエンコーダ・デコーダネットワークを訓練する。
• 球面CNNのカテゴリベースの3次元形状特徴を画像埋め込みの監視に用い、幾何的整合性を保証する。
• 球面畳み込みを介して、世界空間における3次元物体の回転が球面埋め込みの回転に対応するように、不変性を強制する。
• 2つの埋め込み間の球面相互相関を計算することで相対姿勢推定を実行し、相対回転を回復する。
• 目的の3次元回転を球面埋め込みに適用し、それをピクセル空間にデコードすることで新規ビューを生成する。
• ペアドされた回転画像データを必要とせず、光度損失のみを用いてデコーダを訓練する。

実験結果

リサーチクエスチョン

• RQ1 3次元から2次元への非自明なカメラ射影があるにもかかわらず、3次元物体の回転に対して不変な2次元画像埋め込みを学習できるか？
• RQ2 1つのクロスドメイン埋め込み空間が、タスク固有の微調整なしに相対姿勢推定やビュー合成といった複数の下流タスクをサポートできるか？
• RQ3 特に対称的または困難なオブジェクトカテゴリにおいて、モデルは完全な3次元回転に一般化できるか？
• RQ4 球面相互相関による埋め込み間の類似度評価が、相対姿勢推定においてエンドツーエンド回帰法の代替として有効であるか？

主な発見

• 本モデルは、3次元相対姿勢推定において最先端の性能を達成した。特に、データスパarsityが深刻な全3DOF回転設定では、先行手法が困難としていた領域で優れた結果を示した。
• 球面相互相関を用いた相対姿勢推定は、KeypointNetのような回帰ベースのベースラインを上回り、特に挑戦的な3DOF設定で顕著な優位性を示した。
• 1枚の入力画像から球面埋め込みを回転させることで、新規ビューを効果的に合成でき、外観の変化が少ないオブジェクトに対しても高品質な結果が得られた。
• 対称的インスタンス（例：飛行機）を含む複数のオブジェクトカテゴリに一般化でき、対称的注意の誤差評価（min(err, π - err)）を用いることで実現した。
• 球面埋め込みは、追加の監視なしに多様な応用をサポートするのに十分な3次元幾何学的および外観情報を持つことが示された。