[論文レビュー] Self-supervised Learning of 3D Objects from Natural Images

Hiroharu Kato, Tatsuya Harada|arXiv (Cornell University)|Nov 20, 2019

3D Shape Modeling and Analysis参考文献 49被引用数 8

ひとこと要約

本論文は、分類済みの自然画像から1枚のビューにおける3次元再構成を自己教師付きで行う手法を提案する。2段階の訓練プロセスを用いる：まず固定されたポーズとテクスチャを用いてカテゴリ固有の基本形状を学習し、その後ポーズとテクスチャを精緻化する。本手法はCIFAR-10およびPASCAL 3D+において3次元の教師なしで意味のある3次元再構成を達成し、合成データセットにとどまらない多様な実世界のカテゴリでも有効であることを示している。

ABSTRACT

We present a method to learn single-view reconstruction of the 3D shape, pose, and texture of objects from categorized natural images in a self-supervised manner. Since this is a severely ill-posed problem, carefully designing a training method and introducing constraints are essential. To avoid the difficulty of training all elements at the same time, we propose training category-specific base shapes with fixed pose distribution and simple textures first, and subsequently training poses and textures using the obtained shapes. Another difficulty is that shapes and backgrounds sometimes become excessively complicated to mistakenly reconstruct textures on object surfaces. To suppress it, we propose using strong regularization and constraints on object surfaces and background images. With these two techniques, we demonstrate that we can use natural image collections such as CIFAR-10 and PASCAL objects for training, which indicates the possibility to realize 3D object reconstruction on diverse object categories beyond synthetic datasets.

研究の動機と目的

• 分類済みの自然画像から3次元形状、ポーズ、テクスチャを3次元の教師なしで再構成可能にする。
• 訓練設計と正則化による構造的インダクティブバイアスを導入することで、1枚のビューにおける3次元再構成の不適切な性質を緩和する。
• ShapeNetのような合成データセットにとどまらない、多様なオブジェクトカテゴリが自然画像のコレクションのみで学習可能であることを示す。
• 高価な3次元アノテーションへの依存を減らすために、画像レベルのカテゴリラベルと自然画像データのみを活用する。

提案手法

• 2段階の訓練戦略：まず固定されたポーズ分布と単純なテクスチャを用いてカテゴリ固有の基本形状を学習し、その後学習済みの基本形状を用いてポーズとテクスチャを精緻化する。
• レンダリングと比較する損失関数の使用：推定された3次元形状、ポーズ、テクスチャ、背景から画像を再構成し、事前学習済みの画像特徴を用いて特徴レベルの再構成誤差を最小化する。
• 形状表面に対する強い正則化を施し、滑らかさを確保するとともに、背景のテクスチャに過剰適合することを防ぐ。
• 背景の単純性を強制するために、背景画像が低複雑性になるように正則化し、誤った再構成を低減する。
• 3次元パラメータから画像を生成可能な微分可能レンダラを用い、エンドツーエンド最適化を可能にする。
• 事前学習済みの特徴抽出器（例：AlexNet）を活用し、中間特徴マップ上で再構成損失を計算することで、一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 3次元の教師なしで、自然画像から3次元形状、ポーズ、テクスチャを再構成できるか？
• RQ2 自己教師付き手法は、ShapeNetのような合成データセットにとどまらず、多様なオブジェクトカテゴリに一般化可能か？
• RQ3 1つのオブジェクトで画像を覆う、またはオブジェクトを1ピixelに縮小するような自明または劣悪な解を、自己教師付き3次元再構成で防げるか？
• RQ4 形状類似性、表面滑らかさ、背景単純性といった構造的事前知識が、自己教師付き3次元学習をどの程度向上できるか？
• RQ5 まず基本形状に焦点を当てた2段階の訓練は、3次元再構成の安定性と品質を向上させるか？

主な発見

• CIFAR-10では競争力のある3次元再構成品質を達成し、検証セットにおける平均ポーズ推定精度が0.65を記録した。
• PASCAL 3D+では検証セットにおけるポーズ推定精度が0.38に達し、実世界のオブジェクトカテゴリへの一般化を示した。
• PASCAL 3D+において、自動車、いす、馬の妥当な基本形状を効果的に学習したが、航空機はポーズの曇りが著しく、性能が低下した。
• CIFAR-10のネコとイヌは、クラス内での形状変異が著しく、高歪みを扱う能力に限界があることが示された。
• 事前学習済み特徴に基づく再構成損失では、細部の表現が不十分で、馬の脚のような小さな特徴の再構成が不十分であった。
• 形状滑らかさ正則化のハイパーパrameterに感受性が高く、オブジェクトの自然さをより頑健に測る指標の必要性が示された。