[論文レビュー] GRAM: Generative Radiance Manifolds for 3D-Aware Image Generation

Yu Deng, Jiaolong Yang+2 more|arXiv (Cornell University)|Dec 16, 2021

Computer Graphics and Visualization Techniques被引用数 6

ひとこと要約

GRAMは、体積空間ではなく暗黙の2次元多様体上にランディアンフィールドを学習する、画期的な3次元対応画像生成フレームワークを提案する。これにより、高精細で視点制御可能な画像合成が可能となり、優れた3次元一貫性を実現する。レイ-表面の交差位置でのみサンプリングすることで、モンテカルロノイズを排除し、わずか6つの表面でのみ、最先端のFIDスコア（25.8）を達成。NeRF-Hですら48ポイント/レイを用いてもこれを上回る性能を発揮する。

ABSTRACT

3D-aware image generative modeling aims to generate 3D-consistent images with explicitly controllable camera poses. Recent works have shown promising results by training neural radiance field (NeRF) generators on unstructured 2D images, but still can not generate highly-realistic images with fine details. A critical reason is that the high memory and computation cost of volumetric representation learning greatly restricts the number of point samples for radiance integration during training. Deficient sampling not only limits the expressive power of the generator to handle fine details but also impedes effective GAN training due to the noise caused by unstable Monte Carlo sampling. We propose a novel approach that regulates point sampling and radiance field learning on 2D manifolds, embodied as a set of learned implicit surfaces in the 3D volume. For each viewing ray, we calculate ray-surface intersections and accumulate their radiance generated by the network. By training and rendering such radiance manifolds, our generator can produce high quality images with realistic fine details and strong visual 3D consistency.

研究の動機と目的

• 2D GANと3次元対応生成モデルの間の品質ギャップを解消するため、詳細な忠実度と3次元一貫性を向上させる。
• 体積的ランディアンフィールドにおける不十分なモンテカルロサンプリングが引き起こすGAN学習の不安定性とノイズを克服する。
• サンプリングとランディアン学習を2次元暗黙の多様体に制限することで、体積レンダリングの計算コストとメモリ使用量を削減する。
• 事前に表面を抽出し、それらにランディアンを格納することで、リアルタイムのマルチビューレンダリングを可能にする。
• レイごとのサンプリングポイント数がはるかに少ないにもかかわらず、先行するNeRFベースのGANを上回る優れた性能を達成する。

提案手法

• クラス全体に共通する軽量MLPを用いて、3次元スカラー場内に暗黙の2次元多様体（等高面）の集合を定義する。
• 各視点レイに沿ったサンプリング点を決定するため、微分可能なレイ-表面交差計算を実行する。
• 別個のMLPを用いて交差点からのランディアン値を累積し、エンドツーエンドのGAN学習を可能にする。
• StyleGAN2を模倣した改変ネットワークアーキテクチャを採用し、プログレッシブ成長を削除することで、学習安定性と画像品質を向上させる。
• 特に階層的サンプリングを用いる場合に安定するよう、実画像からのポーズ監視を統合する。
• 推論時、マーチング・キューブスを用いて事前に表面を抽出し、メッシュラスタイザーを介して画像をレンダリングすることで、リアルタイムの自由視点レンダリング（180 FPS）を実現する。

実験結果

リサーチクエスチョン

• RQ1 3次元対応GANにおけるランディアンフィールド学習を2次元多様体に制限することで、詳細忠実度の向上とサンプリングノイズの低減が図れるか？
• RQ2 6つのような少数の暗黙の表面を用いることで、48ポイント/レイのような多数のポイントを用いた体積サンプリングを上回る画像品質と3次元一貫性が達成できるか？
• RQ3 プログレッシブ成長の削除とスキップ接続の追加は、3次元対応GANにおける学習安定性と生成品質にどのように影響するか？
• RQ4 ポーズ監視は、ランディアン多様体学習の安定性と品質をどの程度向上させるか？
• RQ5 ランディアン多様体は、画像品質を損なわずにリアルタイムのマルチビューレンダリングを可能にするか？

主な発見

• GRAMは、FFHQでわずか6つの学習済み表面でのみFID 25.8を達成し、48ポイント/レイを用いるNeRF-H（FID 30.0）を上回る。
• NeRF-Hが12ポイント未満で顕著なノイズパターンを示すのに対し、GRAMは極端なサンプリング制約下でもノイズのない画像を生成する。
• プログレッシブ成長の削除とスキップ接続の追加により、FIDは30.6（Base）から25.8に改善され、新たな学習戦略の有効性が実証された。
• ポーズ正則化は学習安定性を顕著に向上させる：実際のポーズガイドなしではNeRF-Hは完全に失敗するが、GRAMは高い性能を維持する。
• GRAMは、表面を事前に抽出し、メッシュラスタイザーを用いることで、V100 GPUで180 FPSのリアルタイム自由視点レンダリングを実現する。
• 本手法は、顔のテクスチャや細い構造物などの高精細な詳細を非常にリアルに再現し、視点間で一貫してアーティファクトを発生させない。