[論文レビュー] RGBD-GAN: Unsupervised 3D Representation Learning From Natural Image Datasets via RGBD Image Synthesis

Atsuhiro Noguchi, Tatsuya Harada|arXiv (Cornell University)|Sep 27, 2019

Advanced Vision and Imaging参考文献 32被引用数 15

ひとこと要約

本稿では、深度マップ、カメラポーズ、マルチビュー画像などの3Dアノテーションを一切使用せずに、自然な2D画像データセットから一貫性のあるRGBD画像を生成する、新しい非教師あり3次元表現学習手法RGBD-GANを提案する。異なるカメラパラメータ下で生成された画像に対して明示的な3次元一貫性損失を導入することで、オブジェクトの識別子とカメラポーズを分離し、StyleGAN や PGGAN といった多様な生成器アーキテクチャに適合したカメラ条件付き画像生成を可能にした。最小限の監督のもとで、最先端の深度および色の一貫性を達成した。

ABSTRACT

Understanding three-dimensional (3D) geometries from two-dimensional (2D) images without any labeled information is promising for understanding the real world without incurring annotation cost. We herein propose a novel generative model, RGBD-GAN, which achieves unsupervised 3D representation learning from 2D images. The proposed method enables camera parameter-conditional image generation and depth image generation without any 3D annotations, such as camera poses or depth. We use an explicit 3D consistency loss for two RGBD images generated from different camera parameters, in addition to the ordinal GAN objective. The loss is simple yet effective for any type of image generator such as DCGAN and StyleGAN to be conditioned on camera parameters. Through experiments, we demonstrated that the proposed method could learn 3D representations from 2D images with various generator architectures.

研究の動機と目的

• 深度マップ、カメラポーズ、マルチビュー画像などの3次元アノテーションが一切ない自然な2D画像データセットから、非教師あり3次元表現学習を可能にすること。
• 弱教師ありの方法で、潜在空間におけるオブジェクトの識別子とカメラポーズを分離し、画像生成時に視点を明示的に制御可能にすること。
• 3次元潜在空間や明示的な3次元監視を必要とせず、任意の画像生成器アーキテクチャ（例：StyleGAN、PGGAN）と互換性を持つ学習フレームワークを開発すること。
• 異なるカメラビューにおける分散メトリクスを用いて、生成されたRGBD画像の3次元一貫性を定量的に評価すること。

提案手法

• 生成器がカメラパラメータ（例：方位角、仰角、焦点距離）を条件として、RGBD画像を生成する条件付きGANフレームワークを採用する。
• 同じコンテンツから異なるカメラパラメータで生成された2つのRGBD画像が、同一の3次元シーンを表すように制約を課す、新しい3次元一貫性損失を導入する。
• 3次元一貫性損失は、異なるビューから生成された3次元点を共通の3次元空間に投影し、対応する点同士の分散を測定することで計算される。
• 標準的なGANの adversarial 損失に加えてこの損失を適用することで、モデルは同時に深度構造と視点制御を学習可能になる。
• アーキテクチャに依存しないアプローチであり、生成器の内部設計を変更せずに、任意の生成器（例：PGGAN、StyleGAN、DeepVoxels）と統合可能である。
• 訓練プロセスでは、深度、カメラポーズ、マルチビューの監視情報が一切不要な、ラベルなしRGB画像のみを用いる。

実験結果

リサーチクエスチョン

• RQ1 教師なしの2次元画像データセットから、3次元一貫性のある深度とカメラ制御可能な画像生成を、3次元アノテーションなしで学習できるか？
• RQ2 提案された3次元一貫性損失は、潜在空間においてカメラポーズとオブジェクト識別子を効果的に分離できるか？
• RQ3 本手法は、StyleGAN や PGGAN といった多様な生成器アーキテクチャに、アーキテクチャの変更なしに適用可能か？
• RQ4 本モデルの3次元一貫性は、既存手法と比較して、ビュー間の深度および色の分散という観点でどのように評価されるか？
• RQ5 3次元一貫性損失の導入により、FIDで測定した際のRGB画像の品質および多様性が向上するか？

主な発見

• 提案手法は、3次元一貫性において最先端の性能を達成した。StyleGANに3次元損失を適用した場合、ShapeNetカー データセットでは V_depth が 0.00027、V_color が 0.0469 を記録した。
• FFHQ顔データセットでは、V_depth を -（入手不可）から 0.00141、V_color を - から 0.0142 に低減し、明確な3次元一貫性を示した。
• FFHQでは3次元損失付きのStyleGANのFIDスコアは24.2、ShapeNetカーでは13.5であり、非条件付きモデルと比較して同等または優れた画像品質を達成した。
• 3次元損失を含まないベースラインモデルと比較して、本手法は異なるカメラビューにおける深度および色の分散が低く、3次元一貫性で顕著な優位性を示した。
• 3次元潜在表現を既に使用するDeepVoxelsのようなモデルに対しても、3次元一貫性損失は有効であり、さらなる一貫性向上を実現した。
• 本手法は、3次元潜在空間やアーキテクチャの変更なしに、PGGAN や StyleGAN といった多様なアーキテクチャに、カメラパラメータ条件付きの画像生成を可能にした。