[論文レビュー] Towards Realistic 3D Embedding via View Alignment

Changgong Zhang, Fangneng Zhan+3 more|arXiv (Cornell University)|Jul 14, 2020

Generative Adversarial Networks and Image Synthesis参考文献 32被引用数 18

ひとこと要約

本論文では、微分可能ディスクラミネータとビュー符号化テクスチャジェネレータを用いて、背景の幾何構造と3Dモデルのビューを整列させることで、2D背景へのリアルな3Dオブジェクト埋め込みを可能にする、新しいGANフレームワークであるView Alignment GAN（VA-GAN）を提案する。VA-GANはKITTIおよびCityscapesデータセットにおける自動車および歩行者の合成タスクで、最先端の画像合成忠実度を達成した。

ABSTRACT

Recent advances in generative adversarial networks (GANs) have achieved great success in automated image composition that generates new images by embedding interested foreground objects into background images automatically. On the other hand, most existing works deal with foreground objects in two-dimensional (2D) images though foreground objects in three-dimensional (3D) models are more flexible with 360-degree view freedom. This paper presents an innovative View Alignment GAN (VA-GAN) that composes new images by embedding 3D models into 2D background images realistically and automatically. VA-GAN consists of a texture generator and a differential discriminator that are inter-connected and end-to-end trainable. The differential discriminator guides to learn geometric transformation from background images so that the composed 3D models can be aligned with the background images with realistic poses and views. The texture generator adopts a novel view encoding mechanism for generating accurate object textures for the 3D models under the estimated views. Extensive experiments over two synthesis tasks (car synthesis with KITTI and pedestrian synthesis with Cityscapes) show that VA-GAN achieves high-fidelity composition qualitatively and quantitatively as compared with state-of-the-art generation methods.

研究の動機と目的

• 既存のGANベースの画像合成手法が2Dオブジェクトに限定されているという制限を解消し、リアルな3Dオブジェクトの埋め込みを可能にすること。
• 微分可能幾何変換学習を用いて背景の幾何構造とオブジェクトのビューを整列させることで、3Dオブジェクト挿入のリアリズムを向上させること。
• 推定された視点角度下での正確なテクスチャを生成できる、テクスチャジェネレータ内でのビュー符号化メカニズムの開発。
• 幾何的整合性と視覚的忠実度を保ちながら、複雑なシーンにおいてエンドツーエンドで学習可能な画像合成の実現。

提案手法

• VA-GANは、推定された視点方向下での高品質なテクスチャを合成できる、新しいビュー符号化機構を備えたテクスチャジェネレータを採用する。
• 背景画像からの幾何変換の学習を促進するため、微分可能なディスクラミネータが導入され、3Dオブジェクトのリアルなポーズとビュー整列が保証される。
• ディスクラミネータは、3Dオブジェクトの投影ビューと背景シーンとの間に一貫性をもたらすように最適化され、空間的および構造的リアリズムを向上させる。
• 全フレームワークはエンドツーエンドで学習可能であり、敵対的訓練を通じてテクスチャ生成と幾何的整列を同時に最適化する。
• 3Dオブジェクトの背景に対する視点角度を推定することで、正しい視点下での正確なテクスチャ合成が可能になる。
• 本フレームワークは、自動車の合成に用いるKITTI、歩行者の合成に用いるCityscapesという2つの実世界データセットで訓練および評価された。

実験結果

リサーチクエスチョン

• RQ1 GANベースのフレームワークは、幾何的整合性とビュー整列を保ちながら、2D背景へのリアルな3Dオブジェクト埋め込みを達成できるか？
• RQ2 微分可能なディスクラミネータは、3Dオブジェクトと背景シーンを整列させる幾何変換を効果的に学習できるか？
• RQ3 ビュー符号化機構は、変化する視点角度下での3Dオブジェクトのテクスチャ忠実度をどの程度向上できるか？
• RQ4 提案されたVA-GANは、視覚的および定量的合成品質の観点から、最先端の手法と比較してどのように優れているか？

主な発見

• VA-GANはKITTIデータセットを用いた自動車の合成において、定性的および定量的評価の両方で高忠実度の画像合成を達成した。
• モデルは3Dオブジェクトのビューと背景シーンの幾何構造との間で、優れた整列を示し、よりリアルな挿入を実現した。
• 微分可能なディスクラミネータは幾何変換を効果的に学習し、埋め込まれた3Dオブジェクトにより現実的なポーズと視点をもたらした。
• テクスチャジェネレータ内に組み込まれたビュー符号化機構は、推定された視点角度下でのテクスチャの正確性を顕著に向上させた。
• VA-GANは、自動車および歩行者の両方の合成タスクにおいて、既存の最先端手法を上回った。
• 本フレームワークは、多様な実世界の背景において一貫性があり、リアルな結果を達成しながらも、エンドツーエンドの学習可能性を維持した。