[論文レビュー] Unsupervised Pose Flow Learning for Pose Guided Synthesis

Haitian Zheng, Lele Chen+2 more|arXiv (Cornell University)|Sep 30, 2019

Generative Adversarial Networks and Image Synthesis参考文献 45被引用数 11

ひとこと要約

本稿では、3Dボディモデルや真値フローに依存せずに、複雑な非剛体な人体ポーズ変形における外見特徴の転送を可能にする教師なしポーズフロー学習フレームワークを提案する。テクスチャ保持目的関数と増強に基づく自己教師付き学習を導入することで、エンドツーエンドにフローエステイマを訓練し、マルチスケール特徴アライメントとゲート付き乗法的アテンションモジュールを備えたGarmentNetおよびSynthesisNetを用いて粗くから詳細へと画像合成を実現する。DeepFashion、MVC、および実世界の動画データセットにおいて最先端の結果を達成し、未学習のポーズや衣料スタイルに対しても優れた一般化性能を示す。

ABSTRACT

Pose guided synthesis aims to generate a new image in an arbitrary target pose while preserving the appearance details from the source image. Existing approaches rely on either hard-coded spatial transformations or 3D body modeling. They often overlook complex non-rigid pose deformation or unmatched occluded regions, thus fail to effectively preserve appearance information. In this paper, we propose an unsupervised pose flow learning scheme that learns to transfer the appearance details from the source image. Based on such learned pose flow, we proposed GarmentNet and SynthesisNet, both of which use multi-scale feature-domain alignment for coarse-to-fine synthesis. Experiments on the DeepFashion, MVC dataset and additional real-world datasets demonstrate that our approach compares favorably with the state-of-the-art methods and generalizes to unseen poses and clothing styles.

研究の動機と目的

• 既存の手法が効果的に処理できない複雑な非剛体なポーズ変形および遮蔽領域を伴うポーズガイドド画像合成の課題に対処すること。
• 高価な3D人体モデリングや合成された真値フローに依存しないように、ポーズフロー推定のための教師なし学習スキームを提案すること。
• 新規のテクスチャ保持目的関数と増強に基づく自己教師付き学習を導入することで、画像合成における外見の保持を向上させること。
• 学習されたポーズフローと新規のアテンション機構を用いて、誤差補正を施した特徴アライメントと誤差に強い粗くから詳細への合成を可能にすること。
• マスキングレイヤーを用いて背景とアイデンティティを保持し、マスクを介したDensePoseパースリングをキーポoinベースのポーズ表現ではなく採用することで、リアルさの向上を図ること。

提案手法

• 2段階のフレームワーク：段階Iでは、テクスチャ詳細を保持する教師なし目的関数とデータ増強による自己教師付き学習を用いて、フローエステイマを訓練する。
• 学習されたポーズフローの品質を向上させるために、新規のテクスチャ保持目的関数を導入する。これは外見特徴転送において極めて重要である。
• 段階IIでは、学習されたフローに基づくマルチスケール特徴ドメインワープを用いたGarmentNetおよびSynthesisNetを採用し、粗くから詳細への画像合成を実現する。
• 誤差補正を明示的に行うために、ソースおよびターゲット特徴から学習されたアテンションに基づいて特徴をフィルタリングするゲート付き乗法的アテンションモジュールを提案する。
• 両ネットワークにマスキングレイヤーを統合し、ターゲット画像の背景とアイデンティティを保持することで、合成におけるリアリズムを向上させる。
• ポーズ入力としてキーポイントベースの表現ではなく、DensePoseパースリングを用いることで、より豊富な幾何的および意味的情報を提供する。

実験結果

リサーチクエスチョン

• RQ1 3Dモデリングや真値フローに依存せずに、複雑な非剛体な人体ポーズ変形において外見特徴を効果的に転送できる教師なしポーズフロー学習スキームは、実現可能か？
• RQ2 テクスチャ保持目的関数は、画像合成における外見特徴転送のための学習されたポーズフローの品質を向上させるか？
• RQ3 マルチスケール特徴アライメントとアテンションベースの誤差補正を備えた粗くから詳細への合成パイプラインは、未学習のポーズや衣料スタイルにおいて既存手法を上回る性能を示せるか？
• RQ4 本手法は、挑戦的なポーズ変動と遮蔽を伴う実世界の動画および制約のないシーンに、どれほど一般化できるか？
• RQ5 キーポイントベースのポーズ表現ではなくDensePoseパースリングを用いることで、より正確で詳細な合成結果が得られるか？

主な発見

• 本手法はDeepFashionデータセットにおいて最先端の性能を達成し、Fréchet Inception Distance (FID) が 3.603 ± 0.300、パーセプチュアル類似度スコアが 0.853 を記録した。
• MVCデータセットでは、FIDが 3.451 ± 0.426、パーセプチュアル類似度が 0.857 であり、DSCF や Vunet を含む先行手法を上回った。
• MVCデータセットでのファインチューニングにより、FIDが 3.365 ± 0.273、パーセプチュアル類似度が 0.859 に向上した。
• 実世界の動画データに対しては、時間的に一貫性のあるフレームを高精細なテクスチャ詳細とともに生成でき、Amazon Fashionの動画データでその有効性が実証された。
• 実世界の動画テストでは、多様なポーズや衣料スタイルにわたって衣類を効果的に転送し、視覚的に妥当でアイデンティティの一貫性を保った合成が可能であった。
• アブレーションスタディにより、テクスチャ保持目的関数と増強に基づく自己教師付き学習が、フロー品質と合成の忠実度の向上に有効であることが確認された。