[論文レビュー] Unpaired Pose Guided Human Image Generation

Xu Chen, Jie Song+1 more|arXiv (Cornell University)|Jan 8, 2019

Generative Adversarial Networks and Image Synthesis参考文献 43被引用数 6

ひとこと要約

本論文は、ペアなしの3次元メッシュと画像を用い、ペア学習データや3次元ポーズアノテーションを必要とせず、インスタンスレベルまたはクラスレベルの衣装制御を可能にする、ペアなしポーズガイドド人間画像生成のエンドツーエンド生成的対抗ネットワークを提案する。モデルは、顔がぼやけた状態での知覚的評価において53%のだまし率を達成し、最先端のリアルさを実現している。

ABSTRACT

This paper studies the task of full generative modelling of realistic images of humans, guided only by coarse sketch of the pose, while providing control over the specific instance or type of outfit worn by the user. This is a difficult problem because input and output domain are very different and direct image-to-image translation becomes infeasible. We propose an end-to-end trainable network under the generative adversarial framework, that provides detailed control over the final appearance while not requiring paired training data and hence allows us to forgo the challenging problem of fitting 3D poses to 2D images. The model allows to generate novel samples conditioned on either an image taken from the target domain or a class label indicating the style of clothing (e.g., t-shirt). We thoroughly evaluate the architecture and the contributions of the individual components experimentally. Finally, we show in a large scale perceptual study that our approach can generate realistic looking images and that participants struggle in detecting fake images versus real samples, especially if faces are blurred.

研究の動機と目的

• ペア学習データが不要なポーズスケッチからのリアルな人間画像の生成を可能にすること。
• 具体的な衣装インスタンスと広い意味での衣装カテゴリ（例：Tシャツ、スカート）の両方に対する細かい制御を提供すること。
• 3次元メッシュの部品アノテーションと実際の衣装を着た人の画像を用いたペアなし学習により、アノテーションの負担を軽減すること。
• 2段階の学習パイプラインを排除し、1つのエンドツーエンドモデルでポーズと外見の制御を統合すること。
• 特に顔の詳細がぼやけた状況下でも、画像のリアルさとだまし率を向上させること。

提案手法

• コンテンツ条件付き生成的対抗ネットワーク（cGAN）を採用し、コンテンツ条件付きジェネレータとリアルさを強制するディスクラミネータを備える。
• ポーズ、アイデンティティ、衣装スタイルを別々に制御できる分離された潜在空間を採用し、条件付きサンプリングを可能にする。
• 入力スケッチを潜在表現にエンコードするポーズエンコーダーをアーキテクチャに統合し、ジェネレータをガイドする。
• リファレンス画像ネットワークにより、ソース画像の外見とスタイルを潜在空間にエンコードし、インスタンスレベルの制御を実現する。
• 学習戦略としてペアなしデータ（部品アノテーション付き3次元メッシュと実際の画像）を用い、高価な3次元ポーズフィッティングを回避する。
• クラスラベル（例：「スカート」）による条件付きサンプリングと、リファレンスベースの画像変換の両方をサポートする。

実験結果

リサーチクエスチョン

• RQ1 生成モデルは、ペア学習データがなくても、ポーズスケッチのみからリアルな人間画像を生成できるか？
• RQ2 モデルは、具体的な衣装インスタンスと広い意味での衣装カテゴリの両方に対して、細かい制御を実現できるか？
• RQ3 3次元メッシュと実際の画像をペアなしで学習することで、ペア学習手法と同等の高精細な画像合成が可能になるか？
• RQ4 特に知覚的評価において、本モデルのリアルさは先行研究と比較してどのように優れているか？
• RQ5 同じアーキテクチャは、人間画像生成を超えた他の画像変換タスクにも一般化可能か？

主な発見

• 大規模な知覚的評価スタディ（n=478）において、本モデルは27%のだまし率を達成し、画像生成の強力なリアルさを示している。
• 顔領域がぼやけた状態では、だまし率が53%に上昇し、特に顔以外の領域で極めて説得力のある画像を生成していることが示された。
• アブレーションスタディにより、ポーズエンコーダーと条件付きジェネレータの両方が、高品質な画像合成に不可欠であることが確認された。
• ポーズガイドに従っても、色、テクスチャ、衣装スタイルに顕著なクラス内変動を示す多様でリアルな画像を効果的に生成できた。
• アーキテクチャは他のタスクにも良好に一般化でき、写真から絵画への変換などにも応用可能であり、標準的な画像対画像手法（例：CycleGAN）では実現できないスタイル制御と潜在空間サンプリングの機能を備えている。
• 失敗事例の多くは、珍しいポーズや視点角度に起因しており、より多様なトレーニングデータを用いることでモデルの一般化性能を向上できる可能性がある。