[論文レビュー] Disentangling Multiple Conditional Inputs in GANs

Gökhan Yıldırım, Calvin Seward+1 more|arXiv (Cornell University)|Jun 20, 2018

Generative Adversarial Networks and Image Synthesis参考文献 17被引用数 12

ひとこと要約

この論文は、一貫性損失関数を用いて、ファッション画像生成における色、テクスチャ、形状の属性を分離する条件付きGANアーキテクチャを提案する。各属性に対して別々の入力を条件付け、各属性ごとの一貫性損失を用いて出力の安定性を確保することで、色、テクスチャ、形状を独立して制御可能となり、リアルなかつ制御可能な衣類画像の合成と編集が可能になる。

ABSTRACT

In this paper, we propose a method that disentangles the effects of multiple input conditions in Generative Adversarial Networks (GANs). In particular, we demonstrate our method in controlling color, texture, and shape of a generated garment image for computer-aided fashion design. To disentangle the effect of input attributes, we customize conditional GANs with consistency loss functions. In our experiments, we tune one input at a time and show that we can guide our network to generate novel and realistic images of clothing articles. In addition, we present a fashion design process that estimates the input attributes of an existing garment and modifies them using our generator.

研究の動機と目的

• ファッション画像生成のための条件付きGANにおいて、色、テクスチャ、形状といった複数の視覚的属性を独立して制御することを目的とする。
• 複数の入力条件の影響をGANで分離する課題に取り組むこと。特に、1つの属性を変更しても他の属性が影響を受けないことを目的とする。
• 訓練済みの生成器を用いて、既存の衣類の潜在的属性を推定・編集することで、ユーザーが衣類を変更できる手法を開発すること。
• 深層学習と人間の創造性を組み合わせた実用的なデザインプロトタイピングのためのパイプラインをファッションデザイナーに提供すること。
• 条件付きGANをカテゴリカルな条件付けを超えて、ファッション画像における複雑な視覚的属性に対して連続的かつ分離可能な制御を可能にする。

提案手法

• 生成器は3つの入力を受ける：3次元RGB色ベクトル、512次元の潜在ベクトル（テクスチャ用）、128×128のバイナリーセグメンテーションマスク（形状用）。形状マスクはマスク埋め込みネットワークを介して512次元ベクトルに変換される。
• 識別器は2つのタスクを実行する：入力画像が本物か偽物かの分類、および入力画像の平均色の回帰。補助識別器GANに類似しているが、分類ではなく回帰を用いる。
• 訓練の安定化にWGAN-GP損失を用い、識別器の出力を用いて本物と生成画像の分布間のワッサーシュタイン距離を計算する。
• 属性ごとの一貫性損失関数を導入する：色については、入力と出力の平均色の間のL1損失。テクスチャについては、ラプラシアンに基づくマッティング損失。形状については、バイナリークロスエントロピー損失。
• 生成器は、組み合わせた adversarial 損失と一貫性損失を最小化するように訓練され、1つの属性の変更が他の属性に影響を与えないようにする。
• 再構成パイプラインは、生成器の入力を最適化することで、実際の衣類画像の属性を推定し、再構成誤差と一貫性損失を最小化する。これにより、属性の編集が可能になる。

実験結果

リサーチクエスチョン

• RQ1 条件付きGANは、色、テクスチャ、形状といった複数の入力属性の影響を分離できるか。特に、1つの属性を調整しても他の属性に影響を与えないか。
• RQ2 一貫性損失関数をどのように設計すれば、画像生成中に変更されていない属性の視覚的安定性を保てるか。
• RQ3 訓練済みの生成器が、実際の衣類画像をどれだけ正確に再構成できるか。具体的には、その背後にある色、テクスチャ、形状の入力を推定できるか。
• RQ4 実画像から推定された属性を変更することで、新規で現実的であると感じられる衣類デザインを生成できるか。
• RQ5 単一の平均色とバイナリーセグメンテーションマスクを用いるモデルの限界は何か。特に、複数色や複雑なテクスチャを持つ衣類をモデル化する際の制限。

主な発見

• モデルは、1つの属性を調整しても他の2つの属性が視覚的に安定していることから、色、テクスチャ、形状の影響を成功裏に分離していることが実証された。
• 一貫性損失関数は、変更されていない属性を効果的に保持している。色を調整してもテクスチャや形状は変化せず、逆も同様である。
• 再構成パイプラインは、実際の衣類の色と形状を正確に回復できており、推定されたテクスチャベクトルは水平線や陰影といった局所的パターンを捉えている。
• 本手法は実用的なファッションデザインワークフローを可能にする。実際の衣類が分析され属性が抽出され、それらが変更されて新しい現実的なデザインが生成される。
• 複数色や複雑なテクスチャを持つ非常に複雑な衣類ではモデルが失敗しており、現在の色および形状表現の限界が示された。
• ラプラシアンマッティング損失における近傍サイズを大きくすると、構造の捉えが改善されるが、スパarsityの低下に伴い計算コストが著しく増加する。