[論文レビュー] Garment Design with Generative Adversarial Networks

Chenxi Yuan, Mohsen Moghaddam|arXiv (Cornell University)|Jul 21, 2020

Generative Adversarial Networks and Image Synthesis参考文献 47被引用数 4

ひとこと要約

本稿では、分類損失を再構築損失および対抗損失から分離することで、属性レベルでの衣類画像編集を可能にする、変更された生成対抗ネットワーク、Design-AttGANを提案する。このモデルは、スリーブ長、色、パターン、衣類タイプ（例：Tシャツからベスト）といった属性を編集し、特に衣類タイプのバランスの取れたサブセットで微調整した後、ファッションデータにおいて元のAttGANを上回る性能を発揮する。

ABSTRACT

The designers' tendency to adhere to a specific mental set and heavy emotional investment in their initial ideas often hinder their ability to innovate during the design thinking and ideation process. In the fashion industry, in particular, the growing diversity of customers' needs, the intense global competition, and the shrinking time-to-market (a.k.a., "fast fashion") further exacerbate this challenge for designers. Recent advances in deep generative models have created new possibilities to overcome the cognitive obstacles of designers through automated generation and/or editing of design concepts. This paper explores the capabilities of generative adversarial networks (GAN) for automated attribute-level editing of design concepts. Specifically, attribute GAN (AttGAN)---a generative model proven successful for attribute editing of human faces---is utilized for automated editing of the visual attributes of garments and tested on a large fashion dataset. The experiments support the hypothesized potentials of GAN for attribute-level editing of design concepts, and underscore several key limitations and research questions to be addressed in future work.

研究の動機と目的

• 認知的剛性とファストファッションの圧力によるファッションデザイン分野のイノベーション不足に取り組むこと。
• 元々顔の属性編集を目的として設計されたAttGANモデルを、ファッションデザインにおける衣類画像編集に適応させること。
• 損失関数のアーキテクチャを変更することで、AttGANがファッションデータにおいて性能が低下するのを是正すること。
• ファッション属性データセットにおけるクラス不均衡が、GANベースの編集性能に与える影響を調査すること。
• 衣類の複雑な視覚的属性における属性編集の安定性と品質を向上させること。

提案手法

• 13,221枚の衣類画像と22の属性を持つデータセットを用いて、元のAttGANフレームワークをファッション画像に適応させるために微調整を行う。
• 分類損失（$\mathcal{L}_{cls_{g}}$）を再構築損失および対抗損失から分離することで、属性編集能力を向上させる。
• 画像再構築品質とは独立して正確な属性予測を重視するように、修正された損失関数を用いて生成器を訓練する。
• スリーブ長、色、パターン、衣類タイプ（例：ポロシャツ、ベスト）などの属性を編集するためにモデルを適用する。
• 衣類タイプ属性のみを含む5,782枚の画像に限定されたデータセットでモデルを再訓練し、クラス不均衡を緩和する。
• トレーニングおよび評価にはTensorFlowを用い、Adam最適化手法（バッチサイズ32、初期学習率0.0002）を用いる。

実験結果

リサーチクエスチョン

• RQ1 元のAttGANモデルは、衣類画像の属性編集に実用的な性能で適用可能だろうか？
• RQ2 顔画像におけるAttGANと衣類衣類におけるAttGANとの間で性能差が生じる原因は何か？
• RQ3 編集対象の属性領域の相対的な面積（例：スリーブ全体や襟）が、ファッション編集におけるGAN性能に与える影響は何か？
• RQ4 ファッション属性データセットにおけるクラス不均衡が、『ポロ』や『ベスト』といったレア属性の学習および編集能力に悪影響を及えるだろうか？
• RQ5 衣類タイプのバランスの取れたサブセットで再訓練することで、属性編集性能を著しく向上させることができるだろうか？

主な発見

• 元のAttGANモデルは衣類画像においては性能が低く、特にスリーブや襟といった大面積の変更においてパターンを保持できず、属性を正しく編集できなかった。
• 提案されたDesign-AttGANモデルは、分類損失を分離することで、元のAttGANを著しく上回り、画像の詳細を保持したままより良い属性編集を可能にした。
• 色（例：赤、青）、スリーブ長（ショート／ロング）、パターン（例：ストライプ）といった属性を、視覚的に妥当な結果で効果的に編集できた。
• 元のデータセットにおける頻度が低いため、『ポロ』属性を学習することが困難であったことが示され、クラス不均衡への感受性が確認された。
• 衣類タイプ属性のみを含む狭いデータセットで再訓練したことで、これらの属性における性能が著しく向上した。これは、データのバランスが与える影響を裏付けた。
• 結果から、GANはファッションデザイン自動化への有効な応用を行うには、ドメイン特化された適応、特に損失関数設計の工夫が不可欠であることが示された。