[論文レビュー] Fashioning with Networks: Neural Style Transfer to Design Clothes

Prutha Date, Ashwinkumar Ganesan+1 more|arXiv (Cornell University)|Jul 31, 2017

Generative Adversarial Networks and Image Synthesis参考文献 20被引用数 21

ひとこと要約

本論文では、ユーザーのクローゼット画像からファッションの好みを学習し、コンテンツおよびスタイル損失最適化を用いてカスタム衣類を生成することで、衣類デザインのパーソナライズを実現するニューラルスタイル転送パイプラインを提案する。この手法は、ユーザーが定義した衣類の輪郭に複数のスタイルパターンを効果的に転送でき、個々の好みを反映した視覚的に整合性のあるデザインを生成する。

ABSTRACT

Convolutional Neural Networks have been highly successful in performing a host of computer vision tasks such as object recognition, object detection, image segmentation and texture synthesis. In 2015, Gatys et. al [7] show how the style of a painter can be extracted from an image of the painting and applied to another normal photograph, thus recreating the photo in the style of the painter. The method has been successfully applied to a wide range of images and has since spawned multiple applications and mobile apps. In this paper, the neural style transfer algorithm is applied to fashion so as to synthesize new custom clothes. We construct an approach to personalize and generate new custom clothes based on a users preference and by learning the users fashion choices from a limited set of clothes from their closet. The approach is evaluated by analyzing the generated images of clothes and how well they align with the users fashion style.

研究の動機と目的

• ユーザーの独自のスタイル好みに基づいて新しい衣類パターンを生成するパーソナライズされたファッションデザインシステムの開発。
• リコメンドやリコールにとどまらない、新しいユーザー固有の衣類デザインを合成することで、ファッションパーソナライゼーションの課題に取り組む。
• ニューラルスタイル転送が、衣類の構造とユーザーの好みを保持しつつ、複雑なファッションスタイルを効果的に転送できるかどうかを評価する。
• 複数のスタイル入力を生成品質と一貫性に与える影響を調査する。

提案手法

• システムはまず、事前学習済みの19層VGG-Netを用いて、限られた数のクローゼット画像から特徴を抽出することで、ユーザーの好みを学習する。
• ユーザーが提供する衣類の輪郭（UCO）がコンテンツ画像として機能し、複数のユーザー提供衣類画像からスタイル特徴が抽出される。
• 生成画像の最適化には、UCOと生成画像の特徴マップ間のL2距離に基づくコンテンツ損失と、スタイル画像と生成画像間のグラム行列距離に基づくスタイル損失を組み合わせた総損失関数が用いられる。
• 内容とスタイルの重みαとβを適応的に調整しながら、LBFGS最適化を用いて損失を最小化する。
• 後処理として、UCOからのマスクを適用して衣類部分を分離し、背景を除去することで最終的なデザインを生成する。
• スタイル転送の成功を評価するために、VGG-16特徴量を用いてSVMを訓練し、生成画像内の属性の組み合わせを分類する。

実験結果

リサーチクエスチョン

• RQ1 ユーザーが提供するクローゼット画像がわずかである場合でも、ニューラルスタイル転送が衣類デザインのパーソナライズに効果的に機能するか。
• RQ2 複数のスタイル画像を使用することで、生成された衣類デザインの一貫性と認識可能性にどのような影響が生じるか。
• RQ3 分類器が生成された衣類画像内の意図されたスタイル属性をどれだけ正確に検出できるか。これは、スタイル転送が成功したかどうかを示す。
• RQ4 スタイル入力の数を増やすと、生成されたデザインの品質が劣化するかどうか。その理由は何か。

主な発見

• 生成画像における属性分類のF1スコアは、常にベースラインを上回り、ユーザーが提供した画像からのスタイル属性の効果的な転送が示された。
• トレーニングデータと同じスタイルから生成した場合、分類のF1スコアは、別々のテスト画像を用いた場合よりも高かった。これは、なじみのあるスタイルパターンに対してより良い一般化性能を示している。
• 生成に使用するスタイル画像の数を増やすと、F1スコアが低下した。これは、多すぎるスタイル関数が結果の品質と一貫性を損なう可能性を示している。
• 同じコンテンツ画像に複数の異なるスタイル画像（例：異なるニット）を適用した場合、視覚的に明確で妥当な融合デザインが得られ、効果的なスタイル統合が実現した。
• 定量的および定性的な評価を通じて、ユーザーのファッションセンスを反映した、新しいパーソナライズされた衣類デザインが、本システムにより成功裏に生成された。