[論文レビュー] Learning to Synthesize Fashion Textures

Shi Wu, Tak-Wai Hui+3 more|arXiv (Cornell University)|Nov 18, 2019

Generative Adversarial Networks and Image Synthesis参考文献 30被引用数 5

ひとこと要約

本論文は、ファッションテクスチャのための新しい無条件生成モデルを提案する。このモデルは、テクスチャ特徴としてのグラム行列を明示的に合成し、マルチスケールの特徴相関をモデル化する再帰的オートエンコーダと、潜在空間におけるガウス・ミックスチャ・モデル（GMM）を用いて多様性を向上させる。本手法は、FIDスコアおよびユーザーランク評価ベンチマークにおいて、先行手法を大きく上回る最先端の性能を達成した。

ABSTRACT

Existing unconditional generative models mainly focus on modeling general objects, such as faces and indoor scenes. Fashion textures, another important type of visual elements around us, have not been extensively studied. In this work, we propose an effective generative model for fashion textures and also comprehensively investigate the key components involved: internal representation, latent space sampling and the generator architecture. We use Gram matrix as a suitable internal representation for modeling realistic fashion textures, and further design two dedicated modules for modulating Gram matrix into a low-dimension vector. Since fashion textures are scale-dependent, we propose a recursive auto-encoder to capture the dependency between multiple granularity levels of texture feature. Another important observation is that fashion textures are multi-modal. We fit and sample from a Gaussian mixture model in the latent space to improve the diversity of the generated textures. Extensive experiments demonstrate that our approach is capable of synthesizing more realistic and diverse fashion textures over other state-of-the-art methods.

研究の動機と目的

• 顔や風景のような一般物体とは異なり、ファッションテクスチャにおける無条件生成モデリングに関する包括的かつ体系的な研究が不足しているという点に応えること。
• 既存のピクセル空間または特徴空間のGANに起因する制限を克服し、スクラッチから現実的かつ多様なファッションテクスチャを生成できる生成モデルを開発すること。
• 専用のアーキテクチャ的・訓練的コンponentsを用いて、ファッションテクスチャが持つマルチスケール性、自己相関性、マルチモーダル性を明示的にモデル化すること。
• 潜在空間におけるガウス・ミックスチャ・モデル（GMM）のフィッティングとサンプリングにより、サンプルの多様性を向上させ、モード崩壊を回避すること。
• 大規模かつ多様なファッションテクスチャデータセットを用いてモデルを検証し、視覚的品質、FID、ユーザースタディーにおいて、既存のベースラインを上回ることを示すこと。

提案手法

• 本モデルは、畳み込み特徴の2階統計量としてのグラム行列を、テクスチャモデリングのコアな内部表現として用いる。これにより、定常性と空間不変性が実現される。
• 専用のG2V（グラムからベクトル）およびV2G（ベクトルからグラム）変換層が、構造を保ったまま次元削減を実行し、計算と生成の両方の効率性を向上させる。
• 再帰的オートエンコーダアーキテクチャが、複数のネットワーク層にわたるグラム行列を処理し、マルチスケールのテクスチャ特徴間の階層的依存関係をモデル化する。
• 推論時、潜在空間にフィットしたガウス・ミックスチャ・モデル（GMM）から潜在コードをサンプリングすることで、マルチモーダルな分布をよりよく捉え、サンプルの多様性を向上させる。
• 生成ネットワークは、合成されたグラム行列から高解像度（256×256）のテクスチャ画像を再構築する。この際、複数レベルの特徴一貫性を尊重する条件付き生成プロセスが用いられる。
• 訓練目的関数は、敵対的損失と知覚的再構成損失を組み合わせており、リアルな画像品質と特徴の忠実性を両立させる。

実験結果

リサーチクエスチョン

• RQ1 グラム行列は、無条件ファッションテクスチャ生成のための効果的かつ効率的な内部表現として機能するか？
• RQ2 異なるネットワーク層に跨るマルチスケールのテクスチャ特徴を、生成プロセス中に効果的にモデル化し、一貫性を保つことができるか？
• RQ3 潜在空間における学習済みGMMからのサンプリングは、標準的なガウスノイズと比較して、生成されたファッションテクスチャの多様性とリアルさを顕著に向上させるか？
• RQ4 提案された再帰的オートエンコーダアーキテクチャは、標準的なMLPベースの代替手法と比較して、テクスチャ構造と一貫性をどれほど効果的に保持できるか？
• RQ5 視覚的品質、FID、ユーザーランクの観点から、本手法は、既存の最先端のテクスチャおよびファッション画像生成モデルと比較して、どの程度優れているか？

主な発見

• 提案手法は、Fréchet Inception Distance（FID）スコアで37.74を達成し、DistGAN（41.97）、PSGAN（77.10）、TextureGAN（44.38）といったベースライン手法を顕著に上回った。
• アブレーションスタディの結果、グラム行列変換に全結合層を用いる場合、FIDはわずかに改善され37.32を記録したが、184Mパラメータを要するのに対し、本手法はわずか10.8Mパラメータで実現可能であり、パラメータ効率性に優れていることが示された。
• 再帰的オートエンコーダをMLPベースの構造に置き換えると、FIDは45.72に上昇し、再帰構造がマルチレベル特徴の一貫性を維持し、合成誤差を低減するために不可欠であることが示された。
• 潜在空間におけるGMMからのサンプリングにより、モード崩壊が軽減され、多様性が向上した。2次元PCA可視化では、実データ分布のカバー範囲が広がっており、N(0,I)からのサンプリングでは一様なストライプパターンしか生成しなかったのと対照的であった。
• 標準ガウスノイズを用いた場合、FIDスコアは40.83に上昇し、GMMサンプリングが多様性とリアルさを向上させることを確認した。
• ユーザーランクスタディの結果、本手法はベースラインと比較して、より視覚的に好まれるテクスチャを生成することが確認され、定量的FIDスコアおよび定性的な結果とも整合した。