[論文レビュー] Solid Texture Synthesis using Generative Adversarial Networks

Xin Zhao, Lin Wang+4 more|arXiv (Cornell University)|Feb 8, 2021

Generative Adversarial Networks and Image Synthesis参考文献 37被引用数 4

ひとこと要約

本稿では、特徴量を用いずにボリュメトリック演算を通じて2次元エグジンプラ分布を学習するGANベースの手法、STS-GANを提案する。マルチスケールディスクリミネーターを用いてエグジンプラパッチと生成されたボリュームスライスを比較することで、入力エグジンプラに強く類似した高品質で現実的な3次元テクスチャを生成する。

ABSTRACT

Solid texture synthesis, as an effective way to extend 2D exemplar to a volumetric texture, exhibits advantages in numerous application domains. However, existing methods generally suffer from synthesis distortion due to the under-utilization of information. In this paper, we propose a novel approach for the solid texture synthesis based on generative adversarial networks(GANs), named STS-GAN, learning the distribution of 2D exemplars with volumetric operation in a feature-free manner. The multi-scale discriminators evaluate the similarities between patch exemplars and slices from generated volume, promoting the generator to synthesize realistic solid texture. Experimental results demonstrate that the proposed method can synthesize high-quality solid texture with similar visual characteristics to the exemplar.

研究の動機と目的

• エグジンプラ情報の未利用による合成歪みに起因する、従来の固体テクスチャ合成手法の限界を解消すること。
• 手作業で設計された特徴量に依存せずに、2次元テクスチャエグジンプラを高品質な3次元ボリュームテクスチャに効果的に拡張する手法を開発すること。
• マルチスケールディスクリミネーターを用いた敵対的訓練により、合成された固体テクスチャの現実性と構造的一致性を向上させること。
• 中間特徴表現を必要としない、2次元エグジンプラ分布の特徴なし学習を実現し、3次元生成における視覚的特性の保持を図ること。

提案手法

• 2次元エグジンプラからの固体テクスチャ合成に特化した生成的敵対ネットワークアーキテクチャ、STS-GANを提案する。
• 生成プロセス中にボリュメトリック演算を用いて2次元エグジンプラを3次元テクスチャに変換し、空間的一致性を確保する。
• 生成されたボリュームから抽出したスライスとエグジンプラパッチの間の局所的パッチ類似度を評価するマルチスケールディスクリミネーターを実装する。
• 複数スケールで実際のエグジンプラパッチと見分けがつかないスライスを生成することで、ディスクリミネーターを欺くように生成器を敵対的に訓練する。
• 中間特徴表現を必要としない戦略を採用し、直接的に2次元エグジンプラの分布をモデル化する。
• 敵対的損失を用いて生成器とディスクリミネーターをエンドツーエンドで最適化し、現実性と構造的一致性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 手作業で設計された特徴量に依存せずに、2次元エグジンプラから高品質な3次元固体テクスチャを効果的に合成できるか。
• RQ2 マルチスケールディスクラミネーションは、合成されたボリュームテクスチャの現実性と一貫性をどのように向上させるか。
• RQ3 ボリュメトリック演算は、元の2次元エグジンプラの視覚的特性を3次元空間にどの程度保持するか。
• RQ4 特徴なし学習戦略は、中間特徴設計に依存する手法を上回る性能を示すか。

主な発見

• 提案されたSTS-GAN手法は、入力の2次元エグジンプラに強く類似した高視覚的品質の3次元テクスチャを効果的に合成した。
• マルチスケールディスクリミネーターの導入により、局所的パッチレベルの一貫性を強制することで、生成されたテクスチャスライスの現実性が顕著に向上した。
• 特徴なし学習アプローチにより、2次元エグジンプラの分布モデリングが効果的に行われ、合成ボリューム内の歪みが低減された。
• 実験結果から、STS-GANは視覚的特性の保持と合成アーチファクトの低減において、既存手法を上回ることが確認された。