[論文レビュー] Learning a Probabilistic Latent Space of Object Shapes via 3D Generative-Adversarial Modeling

Jiajun Wu, Chengkai Zhang+3 more|arXiv (Cornell University)|Oct 24, 2016

Image Processing and 3D Reconstruction被引用数 1,562

ひとこと要約

この論文は潜在空間から高品質な3Dボクセルオブジェクトを生成する3D-GANを導入し、それを3D-VAE-GANに拡張して2D画像を3Dオブジェクトへマッピングし、教師なしの形状学習と単一画像再構成を可能にする。

ABSTRACT

We study the problem of 3D object generation. We propose a novel framework, namely 3D Generative Adversarial Network (3D-GAN), which generates 3D objects from a probabilistic space by leveraging recent advances in volumetric convolutional networks and generative adversarial nets. The benefits of our model are three-fold: first, the use of an adversarial criterion, instead of traditional heuristic criteria, enables the generator to capture object structure implicitly and to synthesize high-quality 3D objects; second, the generator establishes a mapping from a low-dimensional probabilistic space to the space of 3D objects, so that we can sample objects without a reference image or CAD models, and explore the 3D object manifold; third, the adversarial discriminator provides a powerful 3D shape descriptor which, learned without supervision, has wide applications in 3D object recognition. Experiments demonstrate that our method generates high-quality 3D objects, and our unsupervisedly learned features achieve impressive performance on 3D object recognition, comparable with those of supervised learning methods.

研究の動機と目的

• 多様で現実的な出力を生み出す3Dオブジェクト形状の生成モデルの学習を動機づける。
• 体積畳み込みニューラル網を用いた敵対的学習で潜在ベクトルを64^3ボクセルオブジェクトへマッピングする3D-GANフレームワークを提案する。
• 識別器が認識のための有用な教師なし3D形状表現を学習することを示す。
• 2D画像からの再構成と画像から3D形状への潜在空間マッピングを可能にするため3D-VAE-GANへ拡張する。

提案手法

• 3D-GANを導入する: ジェネレータGは200次元の潜在ベクトルzを64×64×64ボクセルオブジェクトへ写像する; 判別器Dは全畳み込みネットワークを用いて実物と生成物を区別する。
• 対立的損失 L3D-GAN = log D(x) + log(1 − D(G(z)))で学習する。
• 前バッチの精度が80%以下の場合にのみ判別器を更新する適応的トレーニングを採用して学習を安定化させる。
• 画像エンコーダEを追加して2D画像を潜在ベクトルzへ写像することで3D-VAE-GANへ拡張し、結合損失L = L3D-GAN + α1 L_KL + α2 L_reconを最適化する。
• L_KLはq(z|y)が事前分布p(z)に従うように強制し; L_reconは||G(E(y)) − x||2を最小化して3D再構成を行う。
• 3D-VAE-GAN訓練のためSUN indoor画像から複数の視点で3D形状をレンダリングする。

実験結果

リサーチクエスチョン

• RQ1 3D-GANは、明示的な部品ベースのモデリングを用いずに、新規で高品質な3Dオブジェクトを生成する確率的潜在空間を学習できるか？
• RQ2 対立的学習で得られた3D表現は、3D形状分類に競争力のある教師なし特徴を提供するか？
• RQ3 3D-VAE-GANは2D画像を対応する3D形状へマップし、単一画像からの3D再構成を可能にするか？
• RQ4 学習された潜在空間と識別器の活性化には、物体の部品やカテゴリを反映するどのような意味的構造が存在するか？

主な発見

• 3D-GANは潜在ベクトルから高品質で高解像度の3Dオブジェクトを生成し、既存の確率的方法を上回る。
• 識別器は教師なしながら効果的な3D形状特徴を生み出し、競争力のある3Dオブジェクト分類性能を達成し、他のいくつかの教師なし法を上回る。
• 3D-VAE-GANは2D画像から3Dオブジェクトの再構成を可能にし、潜在空間での形状演算と補間を実証する。
• 潜在空間の分析は、意味的に有意義な次元、カテゴリ間およびカテゴリ内の滑らかな補間、そして整合的な物体部品に対応するニューロンの活性化を明らかにする。