[論文レビュー] Crossing Generative Adversarial Networks for Cross-View Person Re-identification

Chengyuan Zhang, Lin Wu+1 more|arXiv (Cornell University)|Jan 4, 2018

Video Surveillance and Tracking Methods参考文献 1被引用数 4

ひとこと要約

本稿では、ペaired画像のラベルを必要とせず、画像ペア内の同時発生パターンをモデル化することで、共同不変特徴を学習する、新たな非教師付き生成的対抗ネットワークであるCross-GANを提案する。変分自己オートエンコーダー、クロスビュー整合、二重GANを組み合わせることで、VIPeR、CUHK03、Market-1501で最先端の性能を達成し、視覚的変化に対して頑健で、実世界の監視環境における強力な一般化性能を示した。

ABSTRACT

Person re-identification ( extit{re-id}) refers to matching pedestrians across disjoint yet non-overlapping camera views. The most effective way to match these pedestrians undertaking significant visual variations is to seek reliably invariant features that can describe the person of interest faithfully. Most of existing methods are presented in a supervised manner to produce discriminative features by relying on labeled paired images in correspondence. However, annotating pair-wise images is prohibitively expensive in labors, and thus not practical in large-scale networked cameras. Moreover, seeking comparable representations across camera views demands a flexible model to address the complex distributions of images. In this work, we study the co-occurrence statistic patterns between pairs of images, and propose to crossing Generative Adversarial Network (Cross-GAN) for learning a joint distribution for cross-image representations in a unsupervised manner. Given a pair of person images, the proposed model consists of the variational auto-encoder to encode the pair into respective latent variables, a proposed cross-view alignment to reduce the view disparity, and an adversarial layer to seek the joint distribution of latent representations. The learned latent representations are well-aligned to reflect the co-occurrence patterns of paired images. We empirically evaluate the proposed model against challenging datasets, and our results show the importance of joint invariant features in improving matching rates of person re-id with comparison to semi/unsupervised state-of-the-arts.

研究の動機と目的

• 教師付き人物再識別の高コストなラベル付けを回避するため、非教師付きでクロスビュー表現を学習すること。
• 教師付きペアデータに依存せず、分離されたカメラビュー間の複雑で多モードの視覚的変化をモデル化すること。
• 正例画像ペアの同時発生パターンを捉える共同潜在分布を学習し、特徴の整合性を向上させること。
• 敵対的学習とクロスビュー整合を用いて不変特徴を学習することで、人物再識別のマッチング精度を向上させること。
• ラベル付き画像対の必要性を排除しつつ、教師付き手法と比較して競争力のある性能を達成すること。

提案手法

• モデルは、ペア画像を分解能のある潜在変数に符号化するための変分自己オートエンコーダー（VAE）を用い、クロスビュー特徴の確率的モデリングを可能にする。
• ドメインシフトを低減するため、異なるカメラビュー間の潜在表現を整合させるクロスビュー整合モジュールを導入する。
• 二重生成的対抗ネットワーク（GAN）を用いて、潜在表現上の共同分布を学習し、現実的で判別力のある特徴合成を促進する。
• 敵対的学習の目的関数により、生成された潜在特徴が本物と区別できないように保証され、視覚的変化に対して頑健性が向上する。
• VAE、整合モジュール、GANを一括してエンドツーエンド最適化することで、不変でクロスビュー互換性のある特徴を学習する。
• 本モデルは、本物のアイデンティティラベルなしに、画像ペアのみを用いて非教師的に学習される。

実験結果

リサーチクエスチョン

• RQ1 教師付きペアデータを必要とせず、生成的モデルが人物再識別のための共同クロスビュー表現を学習できるか？
• RQ2 教師なし環境下で、本手法が正例画像ペア間の同時発生パターンをどれほど効果的に捉えられるか？
• RQ3 非教師付きモデルは、最先端の教師付き手法と比較して、どの程度の性能を達成できるか？
• RQ4 クロスビュー整合は、複雑な視覚的変化にさらされた環境下でも、特徴の整合性と一般化性能をどのように向上させるか？
• RQ5 潜在表現上で行う敵対的学習は、ゼロショットまたは弱教師あり設定において、学習された特徴の判別力を向上させられるか？

主な発見

• VIPeRデータセットでは、Cross-GANはランク-1精度49.28%を達成し、すべての半教師あり／非教師ありベースラインを上回り、教師付きSOTA手法に近い性能を示した。
• CUHK03では、ランク-1精度83.23%を達成し、非教師あり手法の中で2位で、半教師ありのLSRO手法（84.62%）にわずかに劣った。
• Market-1501では、非教師あり手法の中で2位の競争力ある性能を示し、アイデンティティ間の視覚的類似性が極めて高い環境下でも強力な一般化性能を示した。
• モデルは、ポーズ、照明、視点の変化といった視覚的変化の影響を、同時発生パターンを捉える共同潜在分布を学習することで顕著に低減した。
• アブレーションスタディにより、各構成要素（VAE、クロスビュー整合、GAN）が最終性能に寄与していることが確認され、完全なモデルがアブレーションバージョンを上回った。
• CMC曲線から、Cross-GANは3つのデータセットすべてで一貫した性能を維持しており、多様な監視環境下での頑健性と一般化性能が示された。