[論文レビュー] PISE: Person Image Synthesis and Editing with Decoupled GAN

Jinsong Zhang, Kun Li+2 more|arXiv (Cornell University)|Mar 6, 2021

Generative Adversarial Networks and Image Synthesis参考文献 34被引用数 11

ひとこと要約

PISEは、領域ごとのグローバルおよびローカル符号化と正規化を用いて衣装の形状とスタイルを分離する二段階のGANベースのフレームワークを提案する。これにより、視認可能領域および視認不可領域の両方で現実的な生成が可能となり、空間的文脈を保持する。本手法は、ポーズ変換、テクスチャ変換、領域編集において、優れた知覚的品質と分離可能な制御を実現し、最先端の結果を達成する。

ABSTRACT

Person image synthesis, e.g., pose transfer, is a challenging problem due to large variation and occlusion. Existing methods have difficulties predicting reasonable invisible regions and fail to decouple the shape and style of clothing, which limits their applications on person image editing. In this paper, we propose PISE, a novel two-stage generative model for Person Image Synthesis and Editing, which is able to generate realistic person images with desired poses, textures, or semantic layouts. For human pose transfer, we first synthesize a human parsing map aligned with the target pose to represent the shape of clothing by a parsing generator, and then generate the final image by an image generator. To decouple the shape and style of clothing, we propose joint global and local per-region encoding and normalization to predict the reasonable style of clothing for invisible regions. We also propose spatial-aware normalization to retain the spatial context relationship in the source image. The results of qualitative and quantitative experiments demonstrate the superiority of our model on human pose transfer. Besides, the results of texture transfer and region editing show that our model can be applied to person image editing.

研究の動機と目的

• 大きなポーズ変動を伴う現実的な人物画像を生成する課題、特に隠蔽領域や視認不可領域における課題に対処すること。
• 柔軟で詳細な人物画像編集を可能にするために、衣装の形状とスタイルを分離すること。
• 生成出力において、元の画像からの空間的文脈関係を保持すること。
• 中間のパースリングマップを介して、テクスチャおよびセマンティックレイアウトの制御可能な編集を可能にすること。
• 人間のポーズ変換および関連アプリケーションにおける画像の現実性と知覚的品質を向上させること。

提案手法

• モデルは二段階のフレームワークを用いる：まず、ターゲットポーズに一致する人物パースリングマップを生成して衣装の形状を表現する。
• 視認可能領域および視認不可領域の両方のテクスチャ合成を保証するため、領域ごとのグローバルおよびローカル符号化と正規化を統合的に用いてスタイルを予測する。
• 空間認識正規化を導入し、特徴マップのスケールおよびバイアスを調整することで、元画像からの空間的文脈を特徴マップに転送する。
• 画像生成器は、パースド形状と領域固有のスタイルコードを用いて、デコーダーネットワークを通じて最終的な画像を合成する。
• 学習されたスタイルコードを介して領域ごとのスタイル制御を実現し、テクスチャ変換および補間を可能にする。
• 本フレームワークは、 adversarial loss（敵対的損失）、perceptual loss（知覚的損失）、identity loss（アイデンティティ損失）を用いて訓練され、現実性と忠実度を確保する。

実験結果

リサーチクエスチョン

• RQ1 二段階のGANフレームワークは、人物画像合成のための衣装の形状とスタイルの分離を効果的に実現できるか？
• RQ2 ポーズ変換中に、視認不可領域の自然なテクスチャを予測するにはどうすればよいか？
• RQ3 生成出力において、元画像からの空間的文脈がどの程度保持されるか？
• RQ4 本モデルは、テクスチャ変換や領域操作のような柔軟な編集をサポートできるか？
• RQ5 グローバル・ローカル統合符号化と空間認識正規化は、画像品質にどの程度寄与しているか？

主な発見

• グローバルおよびローカルの領域別符号化と空間認識正規化を統合した完全なモデルは、他のコンポONENTを欠如させたモデルと比較して、最も優れた知覚的品質と現実性を達成している。
• アブレーションスタディの結果、統合符号化により、視認不可領域（例：遮蔽されたポーズにおける自然な顔貌特徴や靴の形状）の性能が向上していることが示された。
• 空間認識正規化は、視覚的比較によって示されるように、画像のシャープネスと空間的一致性を顕著に向上させた。
• 本モデルは、詳細で制御可能な衣装テクスチャを持つ自然な画像を生成することで、テクスチャ変換において優れた結果を達成した。
• パースリングマップの入力を変更することで領域編集が成功裏に実現され、望ましい画像レイアウトの自動合成が可能になった。
• 本モデルは、ベースラインと比較して、FIDおよびLPIPSスコアが最高を記録し、実画像との強い知覚的および分布的類似性を示した。