[論文レビュー] Fashion Editing with Multi-scale Attention Normalization.

Haoye Dong, Xiaodan Liang+7 more|arXiv (Cornell University)|Jun 3, 2019

Generative Adversarial Networks and Image Synthesis参考文献 14被引用数 10

ひとこと要約

本稿では、自由形式の画像編集中にスケッチおよびカラー ストロークの詳細を保持するために、マルチスケール アテンション正規化を活用する、ファッション画像編集向けの新規生成的対抗ネットワークである FE-GAN を提案する。人間のパーサー マップからの意味的ガイダンスとパーサーに配慮したインpainting ネットワークを統合することにより、高解像度のファッションデータセットにおいて、最先端の手法よりも顕著に画像品質と編集忠実度が向上する。

ABSTRACT

Interactive fashion image manipulation, which enables users to edit images with sketches and color strokes, is an interesting research problem with great application value. Existing works often treat it as a general inpainting task and do not fully leverage the semantic structural information in fashion images. Moreover, they directly utilize conventional convolution and normalization layers to restore the incomplete image, which tends to wash away the sketch and color information. In this paper, we propose a novel Fashion Editing Generative Adversarial Network (FE-GAN), which is capable of manipulating fashion images by free-form sketches and sparse color strokes. FE-GAN consists of two modules: 1) a free-form parsing network that learns to control the human parsing generation by manipulating sketch and color; 2) a parsing-aware inpainting network that renders detailed textures with semantic guidance from the human parsing map. A new attention normalization layer is further applied at multiple scales in the decoder of the inpainting network to enhance the quality of the synthesized image. Extensive experiments on high-resolution fashion image datasets demonstrate that the proposed method significantly outperforms the state-of-the-art methods on image manipulation.

研究の動機と目的

• 既存のファッション編集手法が画像編集を一般的なインpaintingとして扱い、構造的および色の詳細を保持できないという限界に対処すること。
• ファッション画像内の意味的構造的情報を効果的に活用して、より正確で制御可能な編集を実現するフレームワークを開発すること。
• デコーダーにマルチスケール アテンション正規化層を導入することで、細粒度のスケッチおよびカラー ストロークの詳細を保持する画像生成品質を向上させること。
• リアルなテクスチャ生成を維持しながら、スケッチとスパarsなカラー ストロークの両方を用いた自由形式編集を可能にすること。
• 最先端の手法と比較して、高解像度のファッション画像データセットにおいて優れた性能を示すことを実証すること。

提案手法

• ユーザーが提供するスケッチおよびカラー ストロークを条件として、人間のパーサー マップを生成する自由形式パーサー ネットワークを導入する。
• 生成されたパーサー マップを意味的ガイダンスとして用いて、パーサーに配慮したインpainting ネットワークが詳細なテクスチャを再構築する。
• インpainting ネットワークのデコーダーにマルチスケール アテンション正規化層を統合し、異なる受容野における特徴表現を強化する。
• アテンション正規化機構は、空間的およびチャネル次元における長距離依存関係をモデル化することで、特徴マップを動的に補正する。
• 敵対的損失、知覚的損失、アイデンティティ損失を用いて、全体の FE-GAN フレームワークをエンドツーエンドで学習させ、現実性と編集の一貫性を確保する。
• スキップ接続とマルチスケールの監督を活用して、学習の安定化と生成品質の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 従来の正規化層に依存せずに、生成モデルがファッション画像編集中にスケッチおよびカラー ストロークの詳細を効果的に保持できるか。
• RQ2 マルチスケール アテンション正規化は、デコーダーにおける標準的な正規化と比較して、合成されたファッション画像の品質および忠実度をどのように向上させるか。
• RQ3 パーサーに配慮したインpainting ネットワークは、意味的パーサー マップをどれだけ効果的に活用して、自由形式編集シナリオでリアルなテクスチャを生成できるか。
• RQ4 提案された FE-GAN は、高解像度のファッション画像データセットにおいて、画像品質および編集正確性の面で既存の最先端手法を上回るか。

主な発見

• 提案された FE-GAN は、高解像度のファッション画像編集ベンチマークで優れた性能を達成し、最先端の手法を顕著に上回る。
• マルチスケール アテンション正規化の統合により、よりシャープな詳細と、スケッチおよびカラー ストローク情報のより良い保持が実現された。
• パーサーに配慮したインpainting ネットワークは、意味的パーサー マップをガイダンスとして活用することで、リアルなテクスチャを効果的に生成した。
• アブレーションスタディの結果、マルチスケール アテンション正規化層が画像品質の向上に顕著な貢献をしていることが確認された。
• ユーザー評価と定量的評価により、ベースライン手法と比較して、編集の忠実度と視覚的リアリズムが向上していることが示された。
• 本モデルは、多様なファッションレイアウトおよび複雑な編集シナリオ（自由形式スケッチおよびスパースカラー ストローク入力など）に対しても、良好な一般化性能を示した。