[論文レビュー] Joint Generative and Contrastive Learning for Unsupervised Person Re-identification

Chen, Hao, Wang, Yaohui+3 more|arXiv (Cornell University)|Dec 16, 2020

Video Surveillance and Tracking Methods参考文献 51被引用数 10

ひとこと要約

本論文は、ラベル付きソースデータセットを必要とせず、3DメッシュベースのGANを用いて多様な新しい視点を生成する、非教師付き人物再識別のための共同生成的・対照的学習フレームワークを提案する。アイデンティティと構造の特徴を分離することで、生成と対照的学習の相互最適化を実現し、視点不変表現学習を強化し、完全非教師ありおよびドメイン適応設定の両方で複数のReIDベンチマークで最先端の性能を達成した。

ABSTRACT

Recent self-supervised contrastive learning provides an effective approach for unsupervised person re-identification (ReID) by learning invariance from different views (transformed versions) of an input. In this paper, we incorporate a Generative Adversarial Network (GAN) and a contrastive learning module into one joint training framework. While the GAN provides online data augmentation for contrastive learning, the contrastive module learns view-invariant features for generation. In this context, we propose a mesh-based view generator. Specifically, mesh projections serve as references towards generating novel views of a person. In addition, we propose a view-invariant loss to facilitate contrastive learning between original and generated views. Deviating from previous GAN-based unsupervised ReID methods involving domain adaptation, we do not rely on a labeled source dataset, which makes our method more flexible. Extensive experimental results show that our method significantly outperforms state-of-the-art methods under both, fully unsupervised and unsupervised domain adaptive settings on several large scale ReID datsets.

研究の動機と目的

• 視点多様性が限定的な単純なデータ拡張技術に依存する従来の自己教師付き対照的学習の限界を解消すること。
• ドメイン適応アプローチで一般的に見られる、GANベースの非教師付きReIDにおけるラベル付きソースデータセットへの依存を排除すること。
• 3Dメッシュの分離を用いて現実的で多様な新しい視点を生成することで、非教師付き人物再識別における特徴の頑健性を向上させること。
• 共有されたアイデンティティ特徴学習を通じて、生成モジュールと対照的モジュールの相互改善を可能にすること。

提案手法

• 未ラベル画像からボディシェイプとポーズを推定する3Dメッシュベースの視覚生成器を導入し、メッシュの回転によって構造的な視覚合成を実現する。
• 制御可能な画像生成を可能にするために、アイデンティティ特徴（色、ボディシェイプ）と構造特徴（ポーズ、視点）を分離する。
• 同一人物のオリジナル視点と生成視点間の表現類似度を最大化し、異なるアイデンティティ間の類似度を最小化する視点不変対照的損失を設計する。
• 生成モジュールと対照的モジュールを共有アイデンティティ特徴エンコーダーを介して共同で訓練し、相互最適化を実現する。
• 完全非教師ありおよび非教師付きドメイン適応設定の両方で動作可能であり、両設定で性能向上を達成する。
• 生成品質の評価にFréchet Inception Distance (FID) と構造的類似性 (SSIM) を用い、SSIMは構造的多様性に重点を置く。

実験結果

リサーチクエスチョン

• RQ1 3DメッシュベースのGANは、ラベル付きソースデータに依存せずに、アイデンティティを保持した多様な新しい視点を生成できるか？
• RQ2 生成モジュールと対照的モジュールを共同で訓練することで、個別に訓練する場合と比較して特徴表現の質が向上するか？
• RQ3 完全非教師あり設定において、アイデンティティと構造特徴を効果的に分離でき、制御可能な画像生成が可能になるか？
• RQ4 提案された視点不変損失は、対照的学習における視点不変表現の学習をどのように向上させるか？
• RQ5 スケルトン誘導型や標準的なデータ拡張と比較して、メッシュベースの生成は生成品質およびReID性能にどのような影響を与えるか？

主な発見

• 提案手法は、完全非教師ありおよび非教師付きドメイン適応設定の両方で、Market-1501、DukeMTMC-ReID、MSMT17で最先端の性能を達成した。
• 完全非教師あり設定下でのMarket-1501では、ランク-1正答率が78.6%、mAPが62.3%を達成し、先行SOTA手法を上回った。
• Market-1501では、Fréchet Inception Distance (FID) が59.86、SSIMが0.367を記録し、生成画像の高リアルさと構造的多様性を示した。
• アブレーションスタディにより、視点不変損失が表現学習を顕著に向上させ、ベースライン対照的学習に比べてmAPが4.2%向上した。
• 定性的な結果から、アイデンティティと構造特徴が効果的に分離されており、構造のみを変更すると外見が保持され、逆に外見のみを変更すると構造が保持されることが確認された。
• FIDが低いにもかかわらず、SSIMが0.367（DG-Netの0.360）を上回ったことから、生成視点における構造的多様性とアーチファクトの少なさが優れていることが示された。