[論文レビュー] Generative Occupancy Fields for 3D Surface-Aware Image Synthesis

Xudong Xu, Xingang Pan+2 more|arXiv (Cornell University)|Nov 1, 2021

Computer Graphics and Visualization Techniques被引用数 4

ひとこと要約

本稿では、放射場におけるボリュームベースのレンダリングから、占有状態表現による表面のみのレンダリングに移行する、新しい生成的レイトランスフィールドモデルであるGenerative Occupancy Fields (GOF) を提案する。これにより、コンパクトでシャープな3Dオブジェクト表面が実現される。訓練中に徐々にサンプリング領域を縮小し、アルファ値を占有状態として再解釈することで、勾配分布による安定した学習と表面のコンパクト性の両方の利点を統合し、高品質で滑らかな表面を有する、最先端の3D一貫性のある画像合成を達成する。

ABSTRACT

The advent of generative radiance fields has significantly promoted the development of 3D-aware image synthesis. The cumulative rendering process in radiance fields makes training these generative models much easier since gradients are distributed over the entire volume, but leads to diffused object surfaces. In the meantime, compared to radiance fields occupancy representations could inherently ensure deterministic surfaces. However, if we directly apply occupancy representations to generative models, during training they will only receive sparse gradients located on object surfaces and eventually suffer from the convergence problem. In this paper, we propose Generative Occupancy Fields (GOF), a novel model based on generative radiance fields that can learn compact object surfaces without impeding its training convergence. The key insight of GOF is a dedicated transition from the cumulative rendering in radiance fields to rendering with only the surface points as the learned surface gets more and more accurate. In this way, GOF combines the merits of two representations in a unified framework. In practice, the training-time transition of start from radiance fields and march to occupancy representations is achieved in GOF by gradually shrinking the sampling region in its rendering process from the entire volume to a minimal neighboring region around the surface. Through comprehensive experiments on multiple datasets, we demonstrate that GOF can synthesize high-quality images with 3D consistency and simultaneously learn compact and smooth object surfaces. Code, models, and demo videos are available at https://sheldontsui.github.io/projects/GOF

研究の動機と目的

• 生成的レイトランスフィールド (GRAFs) がボリュームベースのレンダリングにより、拡散的でコンパクトでないオブジェクト表面を生成するという制限を解消すること。
• 表面における勾配が疎であるため、直接的な占有状態ベースの生成モデルが学習に不安定になる問題を克服すること。
• 1つのフレームワーク内で、レイトランスフィールドの勾配分布による安定した学習の利点と、占有ネットワークの表面コンパクト性の利点を統合すること。
• リライトや形状編集などの後続タスクに適した、正確な表面幾何形状を有する高精細な3D一貫性のある画像合成を可能にすること。

提案手法

• 訓練中に累積的ボリュームレンダリング（レイトランスフィールド）から表面のみのレンダリング（占有状態場）への段階的移行を実施し、サンプリング領域を全ボリュームから予測された表面周辺の最小近傍領域へ徐々に縮小する。
• ボリュームレンダリングからのアルファ値を占有状態値として再解釈し、暗黙的ニューラル意思決定境界を用いて表面を特定するためのルートファインディングを可能にする。
• 全ボリュームのサンプリングから開始する微分可能なレンダリングプロセスを採用し、訓練の進行に従ってサンプリング領域を表面隣接領域に段階的に制限する。
• FiLMed-SIRENニューラルネットワークバックボーンを用いて、統一されたジェネレータアーキテクチャ内でレイトランスフィールドと占有状態場の両方をモデル化する。
• 不透明度および表面法線の正則化項を適用し、特に実世界の設定においても学習の安定性と表面品質の向上を図る。
• 推論時において、ボリュームベースと表面のみのレンダリングモードの両方をサポートし、サンプル数を減らして効率的なレンダリングを実現する。

実験結果

リサーチクエスチョン

• RQ1 生成モデルは、レイトランスフィールドの学習安定性と、占有ネットワークの表面コンパクト性を併せ持てるか？
• RQ2 訓練中にボリュームベースレンダリングから表面のみのレンダリングへの移行を、微分可能かつ安定的に実装できるか？
• RQ3 アルファ値を占有状態値として再解釈することで、正確な表面位置特定とコンパクトな表面学習が可能になるか？
• RQ4 サンプリング領域を縮小する戦略は、実世界および合成データセットにおいて表面のシャープネスと一般化性能を向上させるか？
• RQ5 提案手法は、GANの逆問題解消、自由視点合成、リライトなどの後続タスクを、高品質な法線マップとともにサポートできるか？

主な発見

• GOFは、合成データ（BFM）および実世界データ（CelebA, FFHQ）の両方において、pi-GAN よりもシャープでよりコンパクトな表面を実現し、3D一貫性のある画像合成で最先端の性能を達成した。
• アブレーションスタディの結果、不透明度または法線正則化を除去すると、顔面に煙のようなノイズや形状に空洞が生じるアーチファクトが発生するが、それでもベースラインを上回る性能を示した。
• サンプリング領域を縮小するプロセスを導入しない場合、GOFはノイズが多い法線マップとへこみのある3D形状を生成し、表面のコンパクト性を実現するための移行メカニズムが不可欠であることを示した。
• GANの逆問題の結果、GOFは実画像の再構築と3D形状・法線マップの回復が可能であり、自由視点合成や後続の編集が可能であることを示した。
• リライト実験の結果、GOFはpi-GAN よりもより現実的な照明条件下での画像生成を可能にした。pi-GAN はチェッカーボードアーチファクトとノイズの多い法線を発生させるのに対し、GOF はそれらを回避した。
• 推論時に表面のみのレンダリングを適用することで、サンプリング負荷が軽減され、特にサンプリング領域縮小戦略と組み合わせると、高品質な画像を維持できる。