[論文レビュー] Progressive and Aligned Pose Attention Transfer for Person Image Generation

Zhen Zhu, Tengteng Huang+4 more|arXiv (Cornell University)|Mar 22, 2021

Video Surveillance and Tracking Methods参考文献 66被引用数 5

ひとこと要約

本論文は、連鎖的なポーズ・アテンション・トランスファー・ブロック（PATB）とアライメント済みポーズ・アテンション・トランスファー・ブロック（APATB）を用いて、高精細で写真のような質感のポーズ転送を実現するプログレッシブでアライメントされたポーズ・アテンション・トランスファー・ネットワークを提案する。この手法は、Market-1501およびDeepFashionで最先端の性能を達成し、データ拡張を通じて人物再識別（re-ID）の精度を著しく向上させる。

ABSTRACT

This paper proposes a new generative adversarial network for pose transfer, i.e., transferring the pose of a given person to a target pose. We design a progressive generator which comprises a sequence of transfer blocks. Each block performs an intermediate transfer step by modeling the relationship between the condition and the target poses with attention mechanism. Two types of blocks are introduced, namely Pose-Attentional Transfer Block (PATB) and Aligned Pose-Attentional Transfer Bloc ~(APATB). Compared with previous works, our model generates more photorealistic person images that retain better appearance consistency and shape consistency compared with input images. We verify the efficacy of the model on the Market-1501 and DeepFashion datasets, using quantitative and qualitative measures. Furthermore, we show that our method can be used for data augmentation for the person re-identification task, alleviating the issue of data insufficiency. Code and pretrained models are available at https://github.com/tengteng95/Pose-Transfer.git.

研究の動機と目的

• 大規模なポーズ変化下でも正確なポーズ転送を伴う写真のような質感の人物画像を生成する課題に対処すること。
• 局所的な多様体構造を段階的にモデル化することで、ポーズ転送中の外見および形状の一貫性を向上させること。
• ソースとターゲットのポーズを明示的にアライメントする新しいアテンションメカニズムを考案し、より良い特徴転送を実現すること。
• 生成された画像が、実データが限られる状況下でも人物再識別タスクにおけるデータ拡張として有効であることを実証すること。
• 計算効率が高く、視覚的アテンションガイダンスを備えた解釈可能なフレームワークを提供すること。

提案手法

• 本手法は、段階的な転送ブロックを連結して構成されたプログレッシブなジェネレータを採用し、グローバルな多様体の到達を簡素化する。
• 各ブロックは、人体ポーズに基づいて注目領域を推定するポーズ・アテンション機構を用いることで、特徴の選択的転送を可能にする。
• ポーズ・アテンション・トランスファー・ブロック（PATB）は、要素ごとの乗算によりアテンションマスクを用いて外見特徴を調整する。
• アライメント済みポーズ・アテンション・トランスファー・ブロック（APATB）は、ソースとターゲットのポーズ間の類似度行列を計算することで、明示的なポーズアライメントを実現し、特徴のサンプリングと配置をガイドする。
• APATBにより「サンプルして配置する（sample-and-put）」操作が可能になり、ターゲットのポーズに従って外見特徴を空間的に配置することで、特徴の保存性が向上する。
• 生成画像のリアルさと一貫性を向上させるために、GAN損失と敵対的訓練を用いてネットワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 大規模なポーズ変化下でも、プログレッシブでブロック単位の転送戦略が、人物画像生成の品質と一貫性を向上させられるか？
• RQ2 ソースとターゲットのポーズを類似度行列を用いて明示的にアライメントすることで、ポーズ転送中の外見特徴の保存性が向上するか？
• RQ3 本手法で生成された画像が、実データが限られる状況下でも、人物再識別タスクにおける有効なデータ拡張として機能するか？
• RQ4 本手法は、先行する最先端のポーズ転送モデルと比較して、定量的および定性的に優れているか？
• RQ5 モデルの性能が、ポーズ遷移の複雑さや背景の一貫性にどの程度依存しているか？

主な発見

• 提案手法は、Market-1501およびDeepFashionデータセットにおいて、視覚的品質と定量的性能の両面で優れた結果を達成し、以前の最先端手法を上回る。
• アライメント済みポーズ・アテンション・トランスファー・ブロック（APATB）は、特に細部の保存性に優れ、PATBに比べて外見の一貫性が顕著に向上する。
• 生成画像を用いたデータ拡張により、人物再識別性能が向上し、さまざまなデータ分割において一貫した向上が得られる。特に実データが不足している状況で顕著である。
• 生成データからの性能向上は、実データ拡張と同等の水準に達しており、Inception-v2モデルでは生成サンプル数の増加に伴い線形的な向上トレンドを示す。
• ターゲットポーズがデータセット全体からランダムにサンプリングされても、本手法は強固な性能を維持する。これは、多様なポーズ分布に対しても耐性があることを示している。
• APATNはMarket-1501ではPATNにわずかに劣る性能を示す。これは、背景シーンの過剰に単純化されたモデル化が原因である可能性があり、今後の改善の対象となる。