[論文レビュー] Unsupervised 3D Reconstruction from a Single Image via Adversarial Learning

Lingjing Wang, Yi Fang|arXiv (Cornell University)|Nov 26, 2017

Advanced Vision and Imaging参考文献 19被引用数 10

ひとこと要約

本論文は、対応する実世界の画像-3Dモデルのアノテーションが不要な、敵対的学習を用いた非教師付き3D再構成フレームワークを提案する。合成画像と実画像のドメインを共有の潜在空間に一致させるように訓練された敵対的オートエンコーダーと、3Dデコンボリューションネットワークを共同で最適化することで、人間のスケッチなどの未学習のスタイルに対しても、ロバストな3Dボリューム生成が可能となり、Pascal 3D+のチェアカテゴリにおいて0.241のIoUを達成した。

ABSTRACT

Recent advancements in deep learning opened new opportunities for learning a high-quality 3D model from a single 2D image given sufficient training on large-scale data sets. However, the significant imbalance between available amount of images and 3D models, and the limited availability of labeled 2D image data (i.e. manually annotated pairs between images and their corresponding 3D models), severely impacts the training of most supervised deep learning methods in practice. In this paper, driven by a novel design of adversarial networks, we have developed an unsupervised learning paradigm to reconstruct 3D models from a single 2D image, which is free of manually annotated pairwise input image and its associated 3D model. Particularly, the paradigm begins with training an adaption network via autoencoder with adversarial loss, which embeds unpaired 2D synthesized image domain with real world image domain to a shared latent vector space. Then, we jointly train a 3D deconvolutional network to transform the latent vector space to the 3D object space together with the embedding process. Our experiments verify our network's robust and superior performance in handling 3D volumetric object generation from a single 2D image.

研究の動機と目的

• ラベル付きの画像-3Dモデルペアが不足または存在しない状況において、単一の2次元画像からの3次元再構成の課題に対処すること。
• 合成学習データと実世界のテストデータ（例：人間のスケッチ）との間のドメインシフトを克服すること。
• ペアの監視が不要な非教師付きフレームワークを構築し、多様な画像スタイルに一般化できること。
• 3次元ラベルが存在しない、ペアでない実世界の入力（例：スケッチ）から3次元オブジェクトの生成を可能にすること。
• ペアでない画像および3次元データのみを用いて、ロバストで高品質な3次元ボリューム再構成を達成すること。

提案手法

• ペアでない実画像と合成画像を、共有の潜在ベクトル空間にマッピングする敵対的オートエンコーダーを訓練し、ドメイン適応を実現する。
• 共有の潜在空間から直接3次元ボリュームオブジェクトを生成する3Dデコンボリューションネットワークを用いる。
• 敵対的損失を用いてオートエンコーダーと3D生成ネットワークを共同最適化し、特徴の分離と再構成忠実度を向上させる。
• サイクル整合性と敵対的訓練を活用して、ペアデータが存在しない状況でも、実画像と合成画像の潜在空間を一致させる。
• 訓練済みモデルを、微調整なしに実世界の画像（例：人間のスケッチ）に対してゼロショット推論に適用する。
• コンテンツとスタイルを分離する潜在空間を用い、未学習の画像ドメインへの一般化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きの実画像-3Dモデルペアが一切ない状況でも、単一の2次元画像からの3次元再構成が可能か？
• RQ2 合成学習データと実世界のテストデータ（例：スケッチ）との間のドメインシフトは、3次元生成においてどのように効果的に緩和できるか？
• RQ3 敵対的学習により、実画像ドメインと合成画像ドメイン間で、分離可能で共有される潜在表現を実現できるか？
• RQ4 3次元ラベルが存在しない未学習の画像スタイル（例：人間のスケッチ）に対して、モデルの一般化能力はどの程度達成できるか？
• RQ5 提案された非教師付きフレームワークは、実世界のドメイン外テストデータにおいて、教師ありベースラインを上回る性能を示すか？

主な発見

• 本手法は、Pascal 3D+データセットのチェアカテゴリにおいて0.241のIoUを達成し、適応なしのベースライン2D-3Dネットワーク（0.153 IoU）を顕著に上回った。
• チェアカテゴリにおいて、3D-R2N2のような教師あり手法でさえ、ラベルデータが一切ない状況でも、同等またはより優れた性能を達成した。
• 人間のスケッチに対して効果的に一般化され、80枚のスケッチサンプルのうち15％未満の失敗率で3次元モデルを再構成できた。
• 再構成された3次元モデルは、多くの場合で一般的な形状と主要な構造的特徴（例：腕、脚）を捉えているが、独自の背中デザインのような詳細はしばしば失われている。
• アブレーションスタディにより、敵対的ドメイン整合による埋め込みプロセスが極めて重要であることが確認された。これがないと、実世界データでの性能が著しく低下する。
• 本手法により、3次元ラベルが存在しなかったため従来未解決であった人間のスケッチからの3次元オブジェクト予測が可能となり、ゼロショット3次元生成の可能性を示した。