[論文レビュー] Generating Embroidery Patterns Using Image-to-Image Translation

Mohammad Akif Beg, Jia Yuan Yu|arXiv (Cornell University)|Mar 5, 2020

Generative Adversarial Networks and Image Synthesis参考文献 18被引用数 4

ひとこと要約

本論文は、ユーザーがアップロードした2次元画像からリアルなリアルタイムプレビューを生成するための2つの深層学習ベースの手法—スプリットスタイル転送とEmbGAN—を提案する。ニューラルスタイル転送とサイクル整合性GANを変更することで、ペairedトレーニングデータやエムブロイダリー固有の属性の知識に依存せずに、視覚的に正確なエムブロイダリー模倣シミュレーションを生成する。EmbGANは、ターカー評価テストで91.5％の好み度を示し、ベースラインモデルを上回る。

ABSTRACT

In many scenarios in computer vision, machine learning, and computer graphics, there is a requirement to learn the mapping from an image of one domain to an image of another domain, called Image-to-image translation. For example, style transfer, object transfiguration, visually altering the appearance of weather conditions in an image, changing the appearance of a day image into a night image or vice versa, photo enhancement, to name a few. In this paper, we propose two machine learning techniques to solve the embroidery image-to-image translation. Our goal is to generate a preview image which looks similar to an embroidered image, from a user-uploaded image. Our techniques are modifications of two existing techniques, neural style transfer, and cycle-consistent generative-adversarial network. Neural style transfer renders the semantic content of an image from one domain in the style of a different image in another domain, whereas a cycle-consistent generative adversarial network learns the mapping from an input image to output image without any paired training data, and also learn a loss function to train this mapping. Furthermore, the techniques we propose are independent of any embroidery attributes, such as elevation of the image, light-source, start, and endpoints of a stitch, type of stitch used, fabric type, etc. Given the user image, our techniques can generate a preview image which looks similar to an embroidered image. We train and test our propose techniques on an embroidery dataset which consist of simple 2D images. To do so, we prepare an unpaired embroidery dataset with more than 8000 user-uploaded images along with embroidered images. Empirical results show that these techniques successfully generate an approximate preview of an embroidered version of a user image, which can help users in decision making.

研究の動機と目的

• ファッションカスタマイズにおけるカスタムエムブロイダリーの自動的でリアルタイムのプレビュー系の不足を解消すること。
• ペアドトレーニングデータやエムブロイダリー固有のメタデータに依存せずに、ユーザーがアップロードした2次元画像の視覚的にリアルなエムブロイダリー版を生成すること。
• 正確なプレビューシミュレーションを提供することで、衣料品カスタマイズにおける顧客の意思決定を向上させること。
• 生成されたエムブロイダリー風画像の知覚的品質を、グランドトゥルースとしてのデジタル化されたバージョンと比較して評価すること。
• ステッチタイプ、生地、照明、高さに依存しない方法を構築することで、広範な適用性を確保すること。

提案手法

• 入力画像を色ベースのサブ画像に分割し、各領域に別々のエムブロイダリー風スタイルを適用することで、リアルさを向上させるためにニューラルスタイル転送を変更した。
• サイクル整合性損失を用いて、自然画像とエムブロイダリー出力の間でペアのない画像対画像変換を学習するように、CycleGANフレームワークをEmbGANに変更した。
• 8,000枚以上のユーザーがアップロードした画像と、手作業でデジタル化されたエムブロイダリー版から成るペアのないデータセットでモデルをトレーニングした。
• アマゾンMechanical Turkを用いた知覚的評価を通じて、生成された画像とグランドトゥルースおよびベースラインモデルを比較した。
• 構造的および意味的コンテンツを翻訳中に保持するために、アイデンティティ損失とサイクル整合性を組み合わせた条件付き敵対フレームワークを採用した。
• スプリットスタイル転送では、色領域ごとに複数のエムブロイダリー風スタイル画像を統合し、ステッチの変動とテクスチャを模倣した。

実験結果

リサーチクエスチョン

• RQ1 標準的なスタイル転送よりも、変更されたニューラルスタイル転送法がよりリアルなエムブロイダリー風プレビューを生成できるか？
• RQ2 ペアのない画像対画像変換モデル、例えばCycleGANは、高精細なエムブロイダリープレビューを効果的に生成するために適応可能か？
• RQ3 提案されたEmbGANモデルの性能は、標準的なCycleGANおよびスプリットスタイル転送と比較して、視覚的リアルさの観点でどの程度優れているか？
• RQ4 人間の評価者が、生成されたエムブロイダリープレビューをベースラインモデルよりもどれほど好むか？
• RQ5 画像を色で分離し、領域ごとにスタイル転送を適用することで、最終的なエムブロイダリー出力の本物らしさが向上するか？

主な発見

• スプリットスタイル転送は、標準的なニューラルスタイル転送を上回り、ターカーの67.5％がスプリットスタイル転送の結果をニューラルスタイル転送よりもよりリアルだとマークした。
• EmbGANは、CycleGANと比較してターカー評価で91.5％の好み度を示し、視覚的リアルさの向上が顕著に確認された。
• EmbGANから生成された画像は、CycleGANのものよりも一貫して本物に近く、グランドトゥルースとしてのデジタル化されたエムブロイダリー版に近いと評価された。
• 知覚的評価により、標準的なニューラルスタイル転送は、実際のエムブロイダリーのパターンをあまりに反映していないと感じられ、よりリアルさに欠けることが確認された。
• サイクル整合性損失を用いたペアのないトレーニング設定により、ペアのエムブロイダリーデータが不要であるにもかかわらず、効果的な変換が可能となり、スケーラビリティが向上した。
• 本手法は、画像コンテンツの変化に対して頑健であり、ステッチタイプ、生地、照明条件の入力が不要であることも確認された。