[論文レビュー] Towards Unsupervised Learning of Generative Models for 3D Controllable Image Synthesis

Yiyi Liao, Katja Schwarz+2 more|arXiv (Cornell University)|Dec 11, 2019

Generative Adversarial Networks and Image Synthesis参考文献 52被引用数 5

ひとこと要約

本稿では、3Dおよび2D空間の両方で画像生成を統合的にモデリングすることにより、3Dで制御可能な画像合成を学習する、新たな非教師あり生成モデルを提案する。3Dジェネレータと微分可能レンダラー、2D画像生成ヘッドを組み合わせることで、画像からオブジェクトのポーズや視点といった3D要因を分離し、3Dの教師なし条件下でも視点およびポーズに一貫性のある合成が可能となり、球体プリミティブを用いた車両データセットではFIDスコアが33にまで低下する。

ABSTRACT

In recent years, Generative Adversarial Networks have achieved impressive results in photorealistic image synthesis. This progress nurtures hopes that one day the classical rendering pipeline can be replaced by efficient models that are learned directly from images. However, current image synthesis models operate in the 2D domain where disentangling 3D properties such as camera viewpoint or object pose is challenging. Furthermore, they lack an interpretable and controllable representation. Our key hypothesis is that the image generation process should be modeled in 3D space as the physical world surrounding us is intrinsically three-dimensional. We define the new task of 3D controllable image synthesis and propose an approach for solving it by reasoning both in 3D space and in the 2D image domain. We demonstrate that our model is able to disentangle latent 3D factors of simple multi-object scenes in an unsupervised fashion from raw images. Compared to pure 2D baselines, it allows for synthesizing scenes that are consistent wrt. changes in viewpoint or object pose. We further evaluate various 3D representations in terms of their usefulness for this challenging task.

研究の動機と目的

• 2D GANベースの画像生成における制御性と解釈可能性の欠如、特に視点やオブジェクトポーズといった3D要因が混合している問題に対処する。
• 3Dの教師データやアノテーションを一切用いずに、rawな2D画像から直接3D制御可能な生成モデルを学習する。
• 3Dおよび2D空間の両方で画像生成プロセスをモデリングすることにより、カメラの視点やオブジェクトポーズの変更に対しても一貫性のある画像合成を実現する。
• 3D表現（点群、直方体、可変球体など）の違いが、3D制御可能な合成に与える影響を評価する。
• 高精細な画像合成に2Dジェネレータが必要かどうか、あるいは3Dから2Dへの直接生成で十分かどうかを検討する。

提案手法

• モデルは、位置、回転、外観といった分離可能な3D要因を有するオブジェクトレベルのプリミティブ（例：球体、直方体）を3Dジェネレータで生成する。
• 微分可能レンダラーにより、3Dプリミティブを2D画像に投影し、レンダリングプロセス全体にわたるエンドツーエンドの誤差逆伝播を可能にする。
• レンダリングされた2D特徴量を条件として2Dジェネレータが、 adversarial training を用いて写真同等の質の画像を合成する。
• マルチコンponent損失を用いてモデルを訓練する：生成画像における adversarial loss、2D再構成損失、およびオブジェクトの同一性を異なる視点で維持するための幾何学的整合性損失。
• 各オブジェクトが3D空間内で独立して表現・操作可能であるため、複数プリミティブを用いたシーン生成をサポートする。
• アブレーションスタディでは、単一プリミティブ対マルチプリミティブ表現の比較、2Dジェネレータおよび幾何学的整合性損失の必要性を評価する。

実験結果

リサーチクエスチョン

• RQ1 3Dの教師なし条件下で、rawな2D画像からオブジェクトポーズやカメラ視点といった3D要因を分離可能に学習できるか？
• RQ2 3Dと2D空間の両方で統合的にモデリングすることで、純粋な2D GANと比較して視点の一貫性と画像の精細度が向上するか？
• RQ3 点群、球体、直方体といった異なる3D表現は、合成画像の品質および制御性にどのように影響するか？
• RQ4 高精細な画像合成に2Dジェネレータが必要か、それとも3Dプリミティブから直接2D画像を生成するのでも十分か？
• RQ5 幾何学的整合性損失は、カメラ回転に伴う3Dオブジェクト同一性のロバスト性を向上させることができるか？

主な発見

• 球体プリミティブを用いた車両データセットではFIDスコアが33にまで低下し、点群（38）や直方体（38）表現を上回る性能を示した。
• 2Dジェネレータを備えたマルチプリミティブモデルは、2Dジェネレータなしの直接3D→2D生成（FID 69）と比較して、顕著に優れた画像精細度（FID 33）を達成した。
• 幾何学的整合性損失は、奥行きと外観の合成を改善したが、FIDスコアには大きな向上をもたらさなかった。
• 単一プリミティブベースラインでは、視点の変更に伴いオブジェクトの同一性が保てず、カメラ角度によって生成されるオブジェクト数が一貫性を欠いた。
• モデルは、非教師あり条件下でオブジェクトポーズや視点といった3D要因を効果的に分離し、制御可能な一貫性のある画像合成を実現した。
• 失敗事例には、単一プリミティブからの不審なオブジェクト生成や、大きな視点変更における同一性の崩壊が含まれ、より強いインダクティブバイアスの必要性を示唆している。