[論文レビュー] Pose-Normalized Image Generation for Person Re-identification

Xuelin Qian, Yanwei Fu+6 more|arXiv (Cornell University)|Dec 6, 2017

Video Surveillance and Tracking Methods参考文献 46被引用数 28

ひとこと要約

本稿では、ポーズ変動を軽減するためのポーズ正規化生成対角GAN（PN-GAN）を提案する。PN-GANは、入力画像から8つの標準ポーズを生成することで、ポーズに依存しない特徴を学習可能にし、元の特徴と補完的となる。この手法により、微調整なしで新しいデータセットへのゼロショット転送が可能となり、最先端の性能を達成する。

ABSTRACT

Person Re-identification (re-id) faces two major challenges: the lack of cross-view paired training data and learning discriminative identity-sensitive and view-invariant features in the presence of large pose variations. In this work, we address both problems by proposing a novel deep person image generation model for synthesizing realistic person images conditional on the pose. The model is based on a generative adversarial network (GAN) designed specifically for pose normalization in re-id, thus termed pose-normalization GAN (PN-GAN). With the synthesized images, we can learn a new type of deep re-id feature free of the influence of pose variations. We show that this feature is strong on its own and complementary to features learned with the original images. Importantly, under the transfer learning setting, we show that our model generalizes well to any new re-id dataset without the need for collecting any training data for model fine-tuning. The model thus has the potential to make re-id model truly scalable.

研究の動機と目的

• 人物再識別における大きなポーズ変動が特徴の識別性とモデルの汎化性能を低下させることに対処すること。
• 各カメラビューごとに多数のラベル付きデータを必要とする従来の深層再識別モデルのスケーラビリティと汎化性の限界を克服すること。
• 再トレーニングや微調整を必要としない、データ効率的で転送可能な再識別フレームワークを開発すること。
• 標準ポーズ下で現実的でアイデンティティを保持した人物画像を生成し、ポーズに依存しない特徴学習を可能にすること。

提案手法

• ポーズ正規化された人物画像を生成するための条件付きGANベースの画像生成モデル、PN-GANを訓練する。
• 入力画像と所定の8つのポーズのうちの1つ（ターゲットポーズ）を入力とすると、PN-GANは新しいポーズ下で現実的でアイデンティティが一貫した画像を生成する。
• アイデンティティ属性を保持しながらポーズと外見を分離するため、VAE正則化GAN損失を用いる。
• 生成された画像を用いてポーズ正規化再識別モデルを訓練し、ポーズ変化に対して不変な特徴を生成する。
• 元の画像からの特徴とポーズ正規化画像からの特徴を連結して最終的な特徴表現を構築する。
• フレームワークは「プラグアンドプレイ」方式で動作する：訓練が完了すれば、追加のデータ収集やモデルの微調整なしに新しいデータセットに一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 ポーズ正規化画像の生成は、大規模なポーズ変動に対して深層再識別特徴の頑健性を向上させることができるか？
• RQ2 合成されたポーズ正規化画像を用いた学習は、元の画像のみを用いた場合と比較して、補完的でより識別性の高い特徴をもたらすか？
• RQ3 1つのデータセット（例：Market-1501）で訓練した再識別モデルが、微調整なしに新しい未観測データセット（例：CUHK01）に効果的に転送可能か？
• RQ4 8つの標準ポーズを用いることで、生成画像の品質と一般化性能、および下流の再識別性能にどのような影響を与えるか？

主な発見

• CUHK01データセットにおいて、本手法は転移学習条件下で67.65%のRank-1正答率および86.64%のRank-5正答率を達成し、ResNet-50-A (TL)ベースラインを上回った。
• Market-1501データセットにおいて、転移学習条件下で89.43%のRank-1正答率および72.58%のmAPを達成し、優れた汎化性能を示した。
• 1つのポーズではなく8つの標準ポーズを用いることで、Market-1501におけるmAPが69.60%から72.58%に向上し、多ポーズ生成が頑健性を向上させることを示した。
• 元の画像とポーズ正規化画像からの特徴の統合は、すべてのベンチマークで一貫した性能向上をもたらし、両者の補完性を確認した。
• 微調整なしで新しいデータセットに一般化可能であり、CUHK01のような小さなデータセットに対しても競争力のある結果を達成した。
• 可視化結果から、PN-GANは自転車などのオクルージョンを効果的に除去しながら、衣類や色といった重要なアイデンティティ属性を保持していることがわかった。