[論文レビュー] GRAM-HD: 3D-Consistent Image Generation at High Resolution with Generative Radiance Manifolds

Jianfeng Xiang, Jiaolong Yang+2 more|arXiv (Cornell University)|Jun 15, 2022

Advanced Vision and Imaging被引用数 4

ひとこと要約

GRAM-HD は、学習された放射率多様体上の 2D CNN を用いて 3D 空間で超解像を行うことで、1024×1024 解像度の高品質な画像を、多視点一貫性を厳密に保って生成する 3D に注意を向けた GAN を提案する。従来手法と比較してメモリ使用量と推論コストを削減しながら、画像品質および 3D 一貫性の面で最先端の結果を達成した。

ABSTRACT

Recent works have shown that 3D-aware GANs trained on unstructured single image collections can generate multiview images of novel instances. The key underpinnings to achieve this are a 3D radiance field generator and a volume rendering process. However, existing methods either cannot generate high-resolution images (e.g., up to 256X256) due to the high computation cost of neural volume rendering, or rely on 2D CNNs for image-space upsampling which jeopardizes the 3D consistency across different views. This paper proposes a novel 3D-aware GAN that can generate high resolution images (up to 1024X1024) while keeping strict 3D consistency as in volume rendering. Our motivation is to achieve super-resolution directly in the 3D space to preserve 3D consistency. We avoid the otherwise prohibitively-expensive computation cost by applying 2D convolutions on a set of 2D radiance manifolds defined in the recent generative radiance manifold (GRAM) approach, and apply dedicated loss functions for effective GAN training at high resolution. Experiments on FFHQ and AFHQv2 datasets show that our method can produce high-quality 3D-consistent results that significantly outperform existing methods. It makes a significant step towards closing the gap between traditional 2D image generation and 3D-consistent free-view generation.

研究の動機と目的

• 非構造化された 2D 画像コレクションから、1024×1024 解像度の 3D 一貫性のある画像生成を可能にすること。
• 高解像度の 3D に注意を向けた GAN におけるニューラルボリュームレンダリングの計算ボトル neck を克服すること。
• 2D CNN を画像空間でアップサンプリングしないまま、視点間で厳密な 3D 一貫性を維持しながら超解像を実現すること。
• 画像品質や一貫性を損なわずに、既存の 3D に注意を向けた GAN と比較して、メモリ使用量と推論コストを削減すること。

提案手法

• 物体の幾何構造と放射率を表す 3D 表面多様体を定義するために、生成的放射率多様体（GRAM）フレームワークを活用する。
• 多様体を平坦化・サンプリングして 2D グリッドに投影し、共通の 2D CNN を用いてアップサンプリングと特徴量から放射率への変換を実行することで超解像を実現する。
• 高解像度出力におけるチェッカーパatters の抑制を目的として、パッチベースの adversarial loss ($\mathcal{L}_{\mathrm{patch}}$) を導入する。
• 訓練の安定化と浮遊物体のような不自然なアーティファクトの防止を目的として、クロス解像度一貫性損失 ($\mathcal{L}_{\mathrm{cons}}$) を適用する。
• スタイル変調を施した共有生成ネットワークと、独自の背景放射率ネットワークを用いることで、リアルな出力を向上させる。
• 低解像度の多様体から始め、段階的に高解像度出力へと精錬するマルチスケール訓練戦略を採用する。

Figure 2: The overall framework of our GRAM-HD method. The generator consists of two components: the radiance manifold generator and the manifold super-resolution module. The former generates radiance and feature manifolds that represent an LR 3D scene. Through manifold gridding, the manifolds are s

実験結果

リサーチクエスチョン

• RQ1 3D に注意を向けた GAN は、1024×1024 解像度の画像を生成しつつ、厳密な多視点一貫性を維持できるか？
• RQ2 高価な 3D 畳み込みや 2D 画像空間のアップサンプリングに依存せずに、効率的な 3D スーパー解像を達成できるか？
• RQ3 高解像度における adversarial 訓練を安定化させ、チェッカーパターンや不自然な物体のようなアーティファクトを回避できるか？
• RQ4 高解像度の精錬過程において、3D 一貫性と画像品質を保持するのに最も効果的な損失関数は何か？
• RQ5 3D に注意を向けた GAN の計算コストを、生成品質を損なわずに著しく削減できるか？

主な発見

• FFHQ-256² において、GRAM-HD は FID スコア 11.8 を達成し、ベースラインの GRAM 法と比較して 21% の低減を実現した。
• 1024×1024 画像生成における推論時間は、従来手法と比較して 95% 削減され、顕著な効率性の向上が示された。
• 256×256 解像度においてメモリ使用量は 76% 減少し、GRAM と比較して推論時間も 58% 削減された。
• パッチ adversarial loss ($\mathcal{L}_{\mathrm{patch}}$) は、高解像度出力におけるチェッカーパターンを効果的に除去した。
• クロス解像度一貫性損失 ($\mathcal{L}_{\mathrm{cons}}$) は、前景に浮遊する物体のような不自然なアーティファクトの発生を防止した。
• キャッシュされたメッシュ表現を用いることで、1024×1024 解像度でリアルタイムの自由視点合成を 90 FPS で達成した。

Figure 3: Left: Rendered images and radiance maps on the surface manifolds. Three sampled manifolds are shown here. The corresponding LR results before super-resolution are presented at bottom right. Right: Extracted proxy 3D shapes at HR (top row) and LR (bottom row). The rendered images are shown