[論文レビュー] Improving 3D-aware Image Synthesis with A Geometry-aware Discriminator

Zifan Shi, Yinghao Xu+4 more|arXiv (Cornell University)|Sep 30, 2022

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

本稿では、3Dに注意を払った識別器であるGeoDを提案する。GeoDは、識別器を同時に本物/偽物の画像分類と3D幾何（深度マップおよび法線マップの抽出）に用いることで、生成器に明示的な3Dの監視を提供し、3D-aware GANの性能を向上させる。この手法は、画像品質を損なわず、複数のデータセットおよび生成器アーキテクチャで検証されたが、3D形状の正確性が著しく向上する。さらに、識別器に新たなビュー合成ブランチを追加することで、複数ビューの一貫性の向上にも寄与する。

ABSTRACT

3D-aware image synthesis aims at learning a generative model that can render photo-realistic 2D images while capturing decent underlying 3D shapes. A popular solution is to adopt the generative adversarial network (GAN) and replace the generator with a 3D renderer, where volume rendering with neural radiance field (NeRF) is commonly used. Despite the advancement of synthesis quality, existing methods fail to obtain moderate 3D shapes. We argue that, considering the two-player game in the formulation of GANs, only making the generator 3D-aware is not enough. In other words, displacing the generative mechanism only offers the capability, but not the guarantee, of producing 3D-aware images, because the supervision of the generator primarily comes from the discriminator. To address this issue, we propose GeoD through learning a geometry-aware discriminator to improve 3D-aware GANs. Concretely, besides differentiating real and fake samples from the 2D image space, the discriminator is additionally asked to derive the geometry information from the inputs, which is then applied as the guidance of the generator. Such a simple yet effective design facilitates learning substantially more accurate 3D shapes. Extensive experiments on various generator architectures and training datasets verify the superiority of GeoD over state-of-the-art alternatives. Moreover, our approach is registered as a general framework such that a more capable discriminator (i.e., with a third task of novel view synthesis beyond domain classification and geometry extraction) can further assist the generator with a better multi-view consistency.

研究の動機と目的

• 既存の3D-aware GANには、高精細な2D画像合成を達成するが、正確な3D形状を生成できないという限界があることに対処すること。
• 従来のGANにおける識別器の監視は、2D画像空間でのみ作用するため、形状と外観の曖昧さを引き起こすおそれがあることの特定。
• 生成器に直接的な3D監視を提供するため、識別器に3D幾何抽出ブランチを追加した幾何に注意を払った識別器（GeoD）の提案。
• 識別器に新しいビュー合成タスクを追加することで、3D-aware画像合成における複数ビューの一貫性を向上させること。
• GeoDが多様な3D-aware GANアーキテクチャおよびデータセットに一般化可能であることを示すこと。

提案手法

• GeoDは、本物/偽物の画像分類と3D幾何（深度および法線マップ）抽出を並列に実行するマルチタスク識別器を導入する。
• 幾何ブランチは、外部の事前学習済みモデルから得られる真値幾何情報を利用し、実画像のみを用いて自己教師的（unsupervised）に学習する。
• 生成器は識別器と同時に最適化され、分類ブランチおよび幾何ブランチからの勾配を受けることで、3D形状の忠実性が向上する。
• 幾何抽出ブランチは、識別器に接続された軽量なネットワークヘッドとして実装され、生成器とエンドツーエンドで訓練される。
• 多視点一貫性の向上を図るため、IBRNetを用いて識別器に第3のタスク（新規ビュー合成）を追加する。
• 本手法は、π-GAN、StyleNeRF、VolumeGANを含む複数の3D-aware GANに適用され、アーキテクチャを越えて一般化できることを示している。

実験結果

リサーチクエスチョン

• RQ1 2Dのみの識別器監視を超えて、幾何に注意を払った識別器が3D-aware GANの3D形状の正確性を向上させられるか？
• RQ2 識別器に3D幾何抽出ブランチを追加することで、形状と外観の曖昧さが軽減され、より現実的な3D再構築が可能になるか？
• RQ3 提案されたGeoDフレームワークが、異なる3D-aware GANアーキテクチャおよびデータセットに一般化可能か？
• RQ4 識別器に新規ビュー合成タスクを追加することで、生成画像の複数ビューの一貫性がさらに向上するか？
• RQ5 GeoDは、実画像からのGAN逆問題（inversion）において、実際の幾何ラベルの微調整なしに、3D再構築品質を向上させられるか？

主な発見

• FFHQ、AFHQ猫、LSUNベッドルームの全評価データセットで、GeoDは低いSIDEスコアを示し、より正確な基礎幾何を示すことで、3D形状の正確性が顕著に向上した。
• LSUNベッドルームデータセットでは、ベースラインと比較してSIDE指標が25.6%低減され、3D形状忠実度の著しい向上が確認された。
• FIDスコアは維持またはわずかに向上し、追加の3D監視にもかかわらず2D画像品質に劣化がないことが示された。
• 新規ビュー合成ブランチを追加した場合、再構築誤差が低く抑えられ、複数ビュー間の知覚的類似度が高くなったことから、多視点一貫性が向上した。
• GAN逆問題の実験では、GeoDは2D監視ベースラインと比較して、より現実的で滑らかな3D再構築と一貫性のある新規ビュー合成を可能にした。
• π-GAN、StyleNeRF、VolumeGANを含む複数の3D-aware GANに、GeoDは効果的に一般化され、アーキテクチャを越えて幾何品質の向上が一貫して得られた。