[論文レビュー] Progressive Pose Attention Transfer for Person Image Generation

Zhen Zhu, Tengteng Huang+4 more|arXiv (Cornell University)|Apr 6, 2019

Generative Adversarial Networks and Image Synthesis参考文献 46被引用数 42

ひとこと要約

tldr: progressive Pose-Attentional Transfer Network (PATN) を提案する cascaded PATB を用いたポーズ転送で、見た目/形状の一貫性を改善し、再識別のデータ拡張を可能にする。

ABSTRACT

This paper proposes a new generative adversarial network for pose transfer, i.e., transferring the pose of a given person to a target pose. The generator of the network comprises a sequence of Pose-Attentional Transfer Blocks that each transfers certain regions it attends to, generating the person image progressively. Compared with those in previous works, our generated person images possess better appearance consistency and shape consistency with the input images, thus significantly more realistic-looking. The efficacy and efficiency of the proposed network are validated both qualitatively and quantitatively on Market-1501 and DeepFashion. Furthermore, the proposed architecture can generate training images for person re-identification, alleviating data insufficiency. Codes and models are available at: https://github.com/tengteng95/Pose-Transfer.git.

研究の動機と目的

• 非剛性の人間画像を異なるポーズおよびビューの下で堅牢なポーズ転送を促進する。
• 外観を保持しつつポーズを段階的に転送する cascaded な注意誘導ジェネレータを開発する。
• 以前のポーズ転送手法より形状および外観の一貫性を改善する。
• Market-1501 および DeepFashion データセットで品質と効率を示す。
• 生成画像が個人再識別データセットの拡張に潜在的であることを示す。

提案手法

• エンコーダは条件画像と積み重ねられた条件/ターゲットポーズマップを潜在コードへ変換する。
• Pose-Attentional Transfer Blocks (PATBs) のカスケードが、ポーズ注意マスクを用いて画像コードとポーズコードを段階的に更新する。
• Pose attention マスク M_t は、条件画像からどこをサンプリングし、ターゲットポーズへパッチをどこに配置するかを導く（M_t = sigmoid(conv_S(F_{t-1}^S))）。
• 画像コードの更新: F_t^P = M_t ⊙ conv_P(F_{t-1}^P) + F_{t-1}^P (残差)。
• ポーズコードの更新: F_t^S = conv_S(F_{t-1}^S) | F_t^P (結合)。
• デコーダは最終画像コード F_T^P から最終画像を生成する；ポーズコード F_T^S は破棄される。
• 二つの識別器（外観 D_A と形状 D_S）が外観の一貫性とポーズの整合性を判定し、最終スコア R = R^A R^S。

実験結果

リサーチクエスチョン

• RQ1 ポーズ-attentional blocks による progressive pose transfer は、単一ステップ手法より現実的で幾何的に一貫した個人画像を生成できるか？
• RQ2 PATN は外観と形状の一貫性を改善しつつ計算効率を保てるか？
• RQ3 生成画像は個人再識別（re-ID）タスクのデータセットを意味的に拡張できるか？
• RQ4 提案手法は標準ベンチマーク（Market-1501, DeepFashion）で複数指標において prior 手法とどのように比較されるか？

主な発見

• 本手法は Market-1501 および DeepFashion の両方で形状の一貫性を示す PCKh が高いまたは競合的で、外観指標も堅調である。
• Market-1501 では本手法は SSIM 0.311、IS 3.323、DS 0.74、PCKh 0.94 を記録。DeepFashion では SSIM 0.976、IS 0.96、DS 0.96、PCKh 0.96（表のテキストからの概算）。
• 本手法は prior work より mask-SSIM および mask-IS が高く、構造と質感の忠実度が改善されていることを示す。
• モデルサイズと速度は有利で、DeepFashion で 41.36M パラメータ、60.61 fps を実現し、効率と質の両方でいくつかのベースラインを上回る。
• ユーザー調査では現実感が高く、Market-1501 での G2R（生成物が real と評価）割合は 63.47%、DeepFashion で 31.78%（報告セットアップ）。
• アブレーション研究により、PATB コンポーネントや識別子強化を削除すると性能が劣化することが確認され、設計選択を裏付けている。