[論文レビュー] Adversarial Camera Alignment Network for Unsupervised Cross-camera Person Re-identification

Lei Qi, Lei Wang+4 more|arXiv (Cornell University)|Aug 2, 2019

Video Surveillance and Tracking Methods参考文献 59被引用数 8

ひとこと要約

本論文は、複数のカメラ間の特徴をマルチカメラ敵対的学習を用いて、イントラカメララベルのみを活用してアライメントする、非教師付きクロスカメラ人物再識別を目的とした敵対的カメラアライメントネットワーク（ACAN）を提案する。本手法は、マルチドメインアライメントにおいて勾配反転層（GRL）を上回る新しい「他のカメラ等確率性」（OCE）スキームを導入することで、5つのベンチマークデータセットで最先端の性能を達成した。

ABSTRACT

In person re-identification (Re-ID), supervised methods usually need a large amount of expensive label information, while unsupervised ones are still unable to deliver satisfactory identification performance. In this paper, we introduce a novel person Re-ID task called unsupervised cross-camera person Re-ID, which only needs the within-camera (intra-camera) label information but not cross-camera (inter-camera) labels which are more expensive to obtain. In real-world applications, the intra-camera label information can be easily captured by tracking algorithms or few manual annotations. In this situation, the main challenge becomes the distribution discrepancy across different camera views, caused by the various body pose, occlusion, image resolution, illumination conditions, and background noises in different cameras. To address this situation, we propose a novel Adversarial Camera Alignment Network (ACAN) for unsupervised cross-camera person Re-ID. It consists of the camera-alignment task and the supervised within-camera learning task. To achieve the camera alignment, we develop a Multi-Camera Adversarial Learning (MCAL) to map images of different cameras into a shared subspace. Particularly, we investigate two different schemes, including the existing GRL (i.e., gradient reversal layer) scheme and the proposed scheme called "other camera equiprobability" (OCE), to conduct the multi-camera adversarial task. Based on this shared subspace, we then leverage the within-camera labels to train the network. Extensive experiments on five large-scale datasets demonstrate the superiority of ACAN over multiple state-of-the-art unsupervised methods that take advantage of labeled source domains and generated images by GAN-based models. In particular, we verify that the proposed multi-camera adversarial task does contribute to the significant improvement.

研究の動機と目的

• 人物再識別におけるカメラ間ラベル付けの高コストを軽減するため、イントラカメララベルのみを用いる新しい非教師付き設定を提案すること。
• ポーズ、照明、解像度の変化に起因するクロスカメラドメインシフトを、外部ラベル付きデータに依存せずに低減すること。
• 複数のカメラからの特徴を共有部分空間にアライメントするマルチカメラ敵対的学習フレームワークを構築すること。
• 人物再識別におけるマルチドメインアライメントにおいて、GRLと新しいOCEスキームの有効性を比較すること。
• 特定のカメラでのみ一部のアイデンティティが捉えられるような現実的なデータスパarsity状況下での手法の頑健性を検証すること。

提案手法

• インフラカメララベルのみを用いてカメラアライメントと監視付きインフラカメラ学習を同時に実行する敵対的カメラアライメントネットワーク（ACAN）を提案する。
• 異なるカメラからの画像を共有特徴空間にマップするためのマルチカメラ敵対的学習（MCAL）を導入し、ドメインの混同を実現する。
• MCALに2つの戦略を採用：標準的なGRLベースの手法と、複数ドメインをより効果的に処理できる新規OCE（他のカメラ等確率性）スキーム。
• OCEスキームは、あるカメラからの特徴が他のすべてのカメラの特徴と区別できないように制約を課し、よりバランスの取れたドメインアライメントを促進する。
• 特徴抽出にResNet50をバックボーンとして採用し、t-SNE可視化を用いてカメラ間での分布差を示す。
• 分類用のインフラカメララベルとドメインアライメント用の敵対的損失を用いてモデルを訓練し、エンドツーエンド最適化を実施する。

実験結果

リサーチクエスチョン

• RQ1 カメラ間のアノテーションが一切ない状況下でも、インフラカメララベルのみを用いて高精度な人物再識別モデルを達成できるか？
• RQ2 マルチカメラ敵対的学習は、複数のカメラビュー間のドメインシフトをどれほど効果的に低減できるか？
• RQ3 提案されたOCEスキームは、2台以上のカメラを含む状況でGRLを上回る性能を示すか？
• RQ4 特定のカメラでのみ一部のアイデンティティが捉えられる状況下でも、本手法はどれほど頑健か？
• RQ5 本手法は、多数のカメラと多様な撮影条件を有する大規模データセットにも一般化可能か？

主な発見

• Market1501では、ACAN-OCEが47.7%のmAPと72.2%のRank-1を達成し、元の学習設定下でベースラインを上回った。
• 「single-25」設定（1台のカメラでのみ25%のアイデンティティが捉えられる）では、ACAN-OCEが38.4%のmAPと62.6%のRank-1を達成し、データスパarsityに対して強い頑健性を示した。
• OCEスキームは、すべてのデータセットにおいてGRLを上回るアライメント性能を一貫して示し、特にドメイン複雑度の高いマルチカメラシナリオで顕著であった。
• より多くのカメラを有する大規模MSMT17データセットでも、ACANは強力な一般化性能を示し、小規模ベンチマークを超えたスケーラビリティを確認した。
• アブレーションスタディにより、マルチカメラ敵対的学習部が性能向上に顕著に寄与していることが確認され、その設計の有効性が裏付けられた。
• GANによって生成された疑似ラベルや外部ソースドメインに依存する複数の最先端非教師付きRe-ID手法よりも、本手法が優れた性能を示した。