[論文レビュー] HyperNeRFGAN: Hypernetwork approach to 3D NeRF GAN

Adam Kania, Artur Kasymov+5 more|arXiv (Cornell University)|Jan 27, 2023

Computer Graphics and Visualization Techniques被引用数 4

ひとこと要約

HyperNeRFGANは、2次元画像から3Dに意識的なNeural Radiance Fields (NeRF)を生成するための新しいGANアーキテクチャを提案する。ハイパーネットを用いてランダムノイズから直接NeRF重みを生成する。本モデルはCARLAおよびShapeNetデータセットで最先端のFIDスコアを達成し、SIRENベースのGANや先行するNeRF-GAN手法と比較して優れた3D一貫性と画像品質を示している。

ABSTRACT

The recent surge in popularity of deep generative models for 3D objects has highlighted the need for more efficient training methods, particularly given the difficulties associated with training with conventional 3D representations, such as voxels or point clouds. Neural Radiance Fields (NeRFs), which provide the current benchmark in terms of quality for the generation of novel views of complex 3D scenes from a limited set of 2D images, represent a promising solution to this challenge. However, the training of these models requires the knowledge of the respective camera positions from which the images were viewed. In this paper, we overcome this limitation by introducing HyperNeRFGAN, a Generative Adversarial Network (GAN) architecture employing a hypernetwork paradigm to transform a Gaussian noise into the weights of a NeRF architecture that does not utilize viewing directions in its training phase. Consequently, as evidenced by the findings of our experimental study, the proposed model, despite its notable simplicity in comparison to existing state-of-the-art alternatives, demonstrates superior performance on a diverse range of image datasets where camera position estimation is challenging, particularly in the context of medical data.

研究の動機と目的

• 未ラベルの2次元画像から高品質な3次元NeRF表現を生成するGANベースの生成モデルを開発すること。
• NeRFの条件付けが困難なため、SIRENに依存する既存のGANの限界を克服すること。
• NeRFのボリュームレンダリングとレイトラーシングを介して3次元一貫性を強制することで、3次元に意識的な画像合成を実現すること。
• レンダリング部の共有グローバルパラメータを排除し、生成された各オブジェクトに固有のNeRFを割り当てること。
• 先行するSIRENベースのGANやNeRF-GANベースラインと比較して、より優れた3次元一般化性能と画像品質を達成すること。

提案手法

• ハイパーネットはランダムなガウスノイズを入力として受け取り、ターゲットNeRFモデルの全重みを生成する。
• 生成されたNeRF重みを用いてボリュームレンダリングとレイトラーシングにより新規2次元ビューをレンダリングする。
• 標準的な2次元StyleGAN2ディスクライマーを用いて、GANアーキテクチャ全体を暗黙的かつエンドツーエンドに学習する。
• モデルは地面の3次元幾何形状へのアクセスなしに、未ラベルの2次元画像のみで学習される。
• 3次元一貫性は、3次元空間的および方向的性質に依存するNeRFの微分可能レンダリングプロセスを活用することで強制される。
• レンダリングヘッドでのパrameter共有を回避することで、各生成オブジェクトが固有で専用のNeRF表現を持つことを保証する。

Figure 1: HyperNeRFGAN architecture leverages a hypernetwork paradigm to transfer gaussian noise into weights of NeRF model. After that, we render 2D novel views by NeRF and use a classical 2D discriminator. Our architecture produces 2D images, but we use 3D-aware NeRF representation, which forces t

実験結果

リサーチクエスチョン

• RQ1 ハイパーネットを用いて2次元画像からの3次元オブジェクト生成のためのNeRF重みを効果的に生成できるか？
• RQ2 GANフレームワーク内でSIRENをNeRFに置き換えることで、3次元一貫性と画像品質が向上するか？
• RQ3 2次元画像のみで学習したGANが、高精度かつ一般化性能に優れた3次元に意識的な出力を生成できるか？
• RQ4 提案手法HyperNeRFGANは、π-GAN や GRAF といったSIRENベースのGANと比較して、3次元生成タスクで定量的に優れているか？
• RQ5 本モデルは、限られた2次元ビューからのみ、ガラスの透明性など複雑な材料特性を持つリアルな3次元オブジェクトを生成できるか？

主な発見

• CARLAデータセットでは、HyperNeRFGANはFréchet Inception Distance (FID) 20.5を達成し、π-GAN (29.2)、GRAF (41.7)、HoloGAN (67.5) を上回った。
• ShapeNetデータセットでは、HyperNeRFGANはFIDスコアとして自動車で29.6、飛行機で33.4、いすで22.0を記録し、優れた3次元生成品質を示した。
• CelebAでは、HyperNeRFGANはFID 15.04、KID 0.66を達成し、π-GAN (FID: 14.7、KID: 0.39) に非常に近い性能を発揮した。同時に高いインceptionスコア (2.63) を維持した。
• 定性的な結果から、HyperNeRFGANはπ-GAN や GRAF が苦手としているガラスの透明性といった複雑な材料特性を効果的にモデル化していることが示された。
• 本モデルは高品質な3次元に意識的な画像を生成でき、メッシュ抽出（例：図6）などの後続タスクに使用可能なNeRFを再構築できる。
• アブレーション実験から、GANフレームワーク内でSIRENの代わりにNeRFを使用することで、より優れた3次元一貫性と画像品質が得られ、コアな設計選択の有効性が裏付けられた。

Figure 2: Comparison of HyperNeRFGAN and HoloGAN, GRAF, $\pi$ -GAN on CARLA. We obtain similar results to $\pi$ -GAN, but we have a better value of FID score, see Tab 2 .