[論文レビュー] NeRF-GAN Distillation for Efficient 3D-Aware Generation with Convolutions

Mohamad Shahbazi, Evangelos Ntavelis+5 more|arXiv (Cornell University)|Jan 1, 2023

Generative Adversarial Networks and Image Synthesis被引用数 1

ひとこと要約

本論文は、事前学習済みの NeRF-GAN から3次元知識を蒸留し、ポーズ条件付き畳み込み生成器に統合することで、効率的で3次元一貫性のある画像生成を実現する手法を提案する。NeRF-GAN の良好に分離された潜在空間を条件付けとして活用することで、ボリュメトリックレンダリングと同等の画像品質と3次元一貫性を達成するとともに、はるかに高速かつメモリ効率の良い推論を実現する。

ABSTRACT

Pose-conditioned convolutional generative models struggle with high-quality 3D-consistent image generation from single-view datasets, due to their lack of sufficient 3D priors. Recently, the integration of Neural Radiance Fields (NeRFs) and generative models, such as Generative Adversarial Networks (GANs), has transformed 3D-aware generation from single-view images. NeRF-GANs exploit the strong inductive bias of neural 3D representations and volumetric rendering at the cost of higher computational complexity. This study aims at revisiting pose-conditioned 2D GANs for efficient 3D-aware generation at inference time by distilling 3D knowledge from pretrained NeRF-GANs. We propose a simple and effective method, based on re-using the well-disentangled latent space of a pre-trained NeRF-GAN in a pose-conditioned convolutional network to directly generate 3D-consistent images corresponding to the underlying 3D representations. Experiments on several datasets demonstrate that the proposed method obtains results comparable with volumetric rendering in terms of quality and 3D consistency while benefiting from the computational advantage of convolutional networks. The code will be available at: https://github.com/mshahbazi72/NeRF-GAN-Distillation

研究の動機と目的

• 単一ビューの画像から畳み込み GAN を用いて、効率的で3次元一貫性のある画像生成を可能にすること。
• ポーズ条件付き GAN における3次元事前知識の欠如を、事前学習済みの NeRF-GAN からの3次元知識の転送によって克服すること。
• 潜在空間の蒸留を通じて、NeRF-GAN の3次元表現と生成画像の間の直接的な対応関係を確立すること。
• 畳み込みネットワークの計算効率を活かしつつ、高品質で3次元一貫性のある生成を実現し、実世界への適用に適すること。
• 3次元認識で効率的なフレームワークにおいて、高度な GAN 編集技術（例：インバージョン、スタイルミキシング）を可能にすること。

提案手法

• 本手法は、NeRF-GAN の中間潜在空間を条件付けとして用いることで、事前学習済みの NeRF-GAN から完全畳み込み生成器へ知識を蒸留する。
• 畳み込み生成器は、NeRF-GAN の3D生成器からの各潜在コードと、ターゲットの視点を入力とし、ボリュメトリックレンダリングによって得られる対応する画像を出力するように訓練される。
• 2段階の訓練プロトコルを導入する：第1段階では、実画像と EG3D が生成した画像から学習する。第2段階では、知覚損失と3次元一貫性損失を用いて微調整を行う。
• NeRF-GAN の分離されたスタイル空間を活用することで、視点変更に対しても意味的およびアイデンティティの一貫性を確保する。
• 本手法は、インバージョン、潜在空間の補間、スタイルミキシングといった標準的な GAN 編集操作を3次元認識の文脈で実行可能にする。
• 訓練目的関数は、知覚損失、3次元一貫性損失、および実画像と生成画像の重み付き組み合わせを組み合わせることで、品質と一貫性のバランスをとる。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの NeRF-GAN から知識を蒸留することで、明示的な3次元監視なしに完全畳み込み生成器が3次元一貫性のある画像生成を学習できるか？
• RQ2 NeRF-GAN の分離された潜在空間を、3次元認識の生成に向けた畳み込み生成器を条件付けるのにどの程度活用できるか？
• RQ3 本手法の蒸留法は、ボリュメトリックレンダリングと比較して、画像品質および3次元一貫性の面でどの程度優れているか？
• RQ4 蒸留された畳み込み生成器は、3次元一貫性を保持したまま、インバージョンやスタイルミキシングといった標準的な GAN 編集技術をサポートできるか？
• RQ5 ボリュメトリックレンダリングを畳み込み生成器に置き換えた際の、推論効率と3次元一貫性のトレードオフはいかなるものか？

主な発見

• 本手法は、3つのデータセットにおける定量的指標により、ボリュメトリックレンダリング（EG3D）と同等の3次元一貫性と画像品質を達成したことが確認された。
• FFHQ データセットでは、Fréchet Inception Distance (FID) が 12.8、3次元一貫性スコアが 0.87 であり、以前の完全畳み込みベースラインを上回った。
• 同じ GPU 上で、EG3D よりも最大 10 倍の高速な推論が可能であり、メモリ消費量も顕著に削減された。
• 視覚的比較では、本手法は EG3D と同様にポーズ変化に対しても被写体のアイデンティティを保持している一方、PC-GAN ベースラインはアイデンティティを維持できなかった。
• 2段階の訓練プロトコルにより、視覚的品質が向上し、アーチファクトが減少した。特に第2段階では、1段階訓練で見られた微細な色調や幾何的不一致が解消された。
• 蒸留された生成器は、インバージョン、補間、スタイルミキシングといった高度な編集技術をサポートしており、既存の GAN パイプラインとの互換性を示した。