[論文レビュー] GramGAN: Deep 3D Texture Synthesis From 2D Exemplars

Tiziano Portenier, Siavash Bigdeli+1 more|arXiv (Cornell University)|Jun 29, 2020

Generative Adversarial Networks and Image Synthesis参考文献 31被引用数 14

ひとこと要約

GramGANは、1枚の2D例示画像から高品質で無限大の3Dテクスチャを合成するためのディーブラーニングフレームワークを導入する。スタイリスティックなスタイル転送にインspiredされた新しいGAN損失と、学習可能なノイズ周波数に基づくMLPアーキテクチャ、および拡張戦略を組み合わせることで、先行する最先端手法よりも優れたリアルさと一般化性能を達成し、定量的指標およびユーザースタディーの両面で優れている。

ABSTRACT

We present a novel texture synthesis framework, enabling the generation of infinite, high-quality 3D textures given a 2D exemplar image. Inspired by recent advances in natural texture synthesis, we train deep neural models to generate textures by non-linearly combining learned noise frequencies. To achieve a highly realistic output conditioned on an exemplar patch, we propose a novel loss function that combines ideas from both style transfer and generative adversarial networks. In particular, we train the synthesis network to match the Gram matrices of deep features from a discriminator network. In addition, we propose two architectural concepts and an extrapolation strategy that significantly improve generalization performance. In particular, we inject both model input and condition into hidden network layers by learning to scale and bias hidden activations. Quantitative and qualitative evaluations on a diverse set of exemplars motivate our design decisions and show that our system performs superior to previous state of the art. Finally, we conduct a user study that confirms the benefits of our framework.

研究の動機と目的

• 既存の3Dテクスチャ合成手法に見られる、高メモリ消費、低多様性、未学習テクスチャへの一般化性能の低さといった限界を是正すること。
• エキスパートによるパrameterチューニングや複雑なフォトグラメトリックパイプラインを必要とせず、1枚の2D例示画像から高品質で無限に拡張可能な3Dテクスチャ生成を可能にすること。
• 識別器ネットワークから学習された特徴を活用する新しい拡張戦略を導入することで、未学習のテクスチャへの一般化性能を向上させること。
• スタイリスティックなスタイル転送とGANの目的関数を組み合わせたハイブリッド損失を用いることで、高知覚的リアルさと入力例示との強い類似性を両立すること。

提案手法

• 学習されたノイズ周波数を入力として、3Dテクスチャの色を生成する深層マルチレイヤーパーセプトロン（MLP）を採用し、メモリ効率の高いポイントベースの合成を実現する。
• 識別器ネットワークの深層特徴のグラム行列を一致させる新しい損失関数を提案。GANのリアルさとスタイル転送のコンテンツ忠実度を組み合わせたものである。
• ノイズと条件付きの例示情報の両方を、活性化のスケーリングとシフトを学習することで、隠れ層に注入することで、特徴表現と一般化性能を向上させる。
• 学習された識別器特徴空間を用いて微調整する拡張戦略を導入。これにより、学習中に未見のテクスチャでも高い性能を発揮できる。
• アブレーションのベースラインとしてVGGベースのスタイル損失を採用しているが、識別器の内部特徴を用いることでより優れた結果を示している。
• 訓練プロセスでは、生成された特徴と例示の特徴との間のスタイル損失を最小化するとともに、敵対的リアルさを維持するように合成ネットワークを最適化する。

実験結果

リサーチクエスチョン

• RQ1 1枚の2D例示画像から、細部や素材の外観を保持した高品質で無限に拡張可能な3Dテクスチャを、深層ニューラルネットワークが生成可能か？
• RQ2 GANベースの損失は、3Dテクスチャ合成において、高リアルさと入力例示との強い類似性を両立させるためにどのように適合可能か？
• RQ3 ノイズ周波数に基づくMLPアーキテクチャは、学習セットとは顕著に異なるテクスチャに対し、どの程度一般化可能か？
• RQ4 隠れ層に条件付き情報を注入することで、テクスチャ合成における特徴学習と一般化性能が向上するか？
• RQ5 テクスチャ合成において、事前学習済みVGG特徴よりも、識別器の内部特徴がより効果的なスタイルリファレンスとなるか？

主な発見

• GramGANはSIFIDスコア2.47 ± 2.23を達成し、Henzlerら（2.60 ± 2.85）を顕著に上回り、真値（2.46 ± 2.80）に近づいている。これは、例示画像との高い知覚的類似性を示している。
• 平均対数尤度（ALL）は-317.23 ± 74.30を達成し、密度モデリングの強さとアーチファクトの低減を示しているが、Henzler らとの差はやや限定的である。
• 21名の参加者が行ったユーザースタディーでは、GramGANの平均順位は1.85 ± 0.80であり、真値（p = 0.56）と統計的に差がない一方で、Henzler ら（p < 2×10⁻¹¹）を顕著に上回った。
• 識別器の特徴を用いた提案された拡張戦略により、分布外の例示に対してSIFIDは1.46 ± 0.29に低下し、ベースライン（11.31 ± 0.79）に比べて一般化性能が顕著に向上した。
• VGG特徴をスタイル損失に用いた場合、SIFIDは1.79 ± 0.3と上昇した。これは、識別器の特徴がスタイルベースのテクスチャ合成においてより効果的であることを確認している。
• 3Dレンダリングの結果、GramGANが生成したテクスチャは、Henzler らの結果よりも参照画像に知覚的に類似しており、特に素材の一貫性の維持と歪みの低減において優れている。