[論文レビュー] 3D-Aware Video Generation

Sherwin Bahmani, Jeong Joon Park+6 more|arXiv (Cornell University)|Jun 29, 2022

Generative Adversarial Networks and Image Synthesis被引用数 8

ひとこと要約

本論文は、神経的暗黙的表現と時間に配慮した識別器を用いて、マルチビューまたは3Dの監視情報を一切用いずに、単眼2D動画から3Dに意識的な動画を生成できる、最初の4次元生成的対抗ネットワーク（GAN）を紹介する。潜在空間におけるアイデンティティとモーションの分離により、制御可能なカメラ画角と現実的な動きを備えた高品質でビュー一貫性のある3D動画を合成し、最先端の2D動画GANと比較して競争力のある性能を達成する。

ABSTRACT

Generative models have emerged as an essential building block for many image synthesis and editing tasks. Recent advances in this field have also enabled high-quality 3D or video content to be generated that exhibits either multi-view or temporal consistency. With our work, we explore 4D generative adversarial networks (GANs) that learn unconditional generation of 3D-aware videos. By combining neural implicit representations with time-aware discriminator, we develop a GAN framework that synthesizes 3D video supervised only with monocular videos. We show that our method learns a rich embedding of decomposable 3D structures and motions that enables new visual effects of spatio-temporal renderings while producing imagery with quality comparable to that of existing 3D or video GANs.

研究の動機と目的

• マルチビューまたは3Dの監視情報を一切用いずに、単一視点の2D動画から3Dに意識的な動画を生成できる4D GANの開発。
• 3Dアイデンティティとモーションの分離された表現を学習することで、空間的・時間的レンダリングの制御を可能にする。
• 新規の時間に配慮した識別器を用いて、生成された3D動画におけるマルチビューおよび時間的一致性を実現する。
• 3Dに意識的な動画生成が、単一視点の監視情報のみで可能であることを実証し、ビュー一貫性において既存の2D動画GANを上回ることを示す。

提案手法

• 生成器は、任意の$xyzt$座標で照会可能な4次元の神経的暗黙的フィールドを用い、時間とともに変化する連続的な3Dシーンを表現する。
• 3Dアイデンティティとモーションの2つの独立した潜在コードを採用し、形状とダイナミクスの分離された生成を実現する。
• 時間に配慮した識別器は、同じ動画シーケンスからランダムに抽出された2つのフレームとその時間的差分を比較することで、リアルさを評価する。
• 生成器が任意のカメラ画角から撮影された写実的な動画フレームを生成するように、敵対的損失を最適化する。
• FFHQで事前学習することでマルチビュー一貫性を向上させ、その後FaceForensicsで微調整してモーション学習を実施する。
• 動画識別器に加えて別個の画像識別器を用いることで、画像品質を向上させ、FVDスコアを顕著に改善する。

実験結果

リサーチクエスチョン

• RQ1 単眼2D動画データのみを監視情報として用いることで、4D GANが3Dに意識的な動画を生成できるか？
• RQ2 明示的な3D監視情報がなければ、4次元生成モデルにおいて時間的一致性とマルチビュー一貫性をどのように強制できるか？
• RQ3 時間に配慮した識別器の使用が、3D動画生成におけるモーションのリアルさと動画品質に与える影響は何か？
• RQ4 アイデンティティとモーションのための分離された潜在表現が、3D動画合成における制御性と品質を向上させられるか？
• RQ5 高品質な画像データセット（例：FFHQ）で事前学習することで、生成された3D動画のマルチビュー一貫性とリアルさはどのように変化するか？

主な発見

• 事前学習モデルは、FaceForensicsでFVDスコア127.2、IDスコア0.982を達成し、強力なマルチビュー一貫性とリアルな動きを示している。
• 別個の画像識別器を用いることでFVDスコアが158.3に低下し、劣化した動画識別器（190.9）や画像識別器なし（234.3）を著しく上回っている。
• 時間の組み込みに単純な乗算を用いたモデルがFVDスコア158.3を達成し、位置符号化（175.4）や連結（164.7）を上回っている。
• FFHQとFaceForensicsを同時に学習させると、事前学習よりも悪いマルチビュー一貫性（ID = 0.893）が得られ、最適化の目的が衝突していることが示唆された。
• 定性的な結果では、vanillaモデルと比較して、特にピッチ角とエレベーション角の範囲が広がり、レンダリングのシャープネスが向上しているが、色の鮮やかさはわずかに低下している。