[論文レビュー] SimMC: Simple Masked Contrastive Learning of Skeleton Representations for Unsupervised Person Re-Identification

Haocong Rao, Chunyan Miao|arXiv (Cornell University)|Apr 21, 2022

Video Surveillance and Tracking Methods被引用数 4

ひとこと要約

本稿では、3次元スケルトンシーケンスを用いた教師なし人物再識別のためのシンプルなマスク付き対照学習フレームワーク、SimMCを提案する。マスク付きプロトタイプ対照学習（MPC）を用いて代表的特徴をクラスタリングし、マスク付き自己シーケンス内対照学習（MIC）を用いて運動の連続性を活用することで、ラベルなしで判別性の高いスケルトン表現を学習する。複数のベンチマークで最先端の性能を達成し、CASIA-Bではトップ1正答率42.5%を記録し、SM-SGEより5.6%の向上を達成した。

ABSTRACT

Recent advances in skeleton-based person re-identification (re-ID) obtain impressive performance via either hand-crafted skeleton descriptors or skeleton representation learning with deep learning paradigms. However, they typically require skeletal pre-modeling and label information for training, which leads to limited applicability of these methods. In this paper, we focus on unsupervised skeleton-based person re-ID, and present a generic Simple Masked Contrastive learning (SimMC) framework to learn effective representations from unlabeled 3D skeletons for person re-ID. Specifically, to fully exploit skeleton features within each skeleton sequence, we first devise a masked prototype contrastive learning (MPC) scheme to cluster the most typical skeleton features (skeleton prototypes) from different subsequences randomly masked from raw sequences, and contrast the inherent similarity between skeleton features and different prototypes to learn discriminative skeleton representations without using any label. Then, considering that different subsequences within the same sequence usually enjoy strong correlations due to the nature of motion continuity, we propose the masked intra-sequence contrastive learning (MIC) to capture intra-sequence pattern consistency between subsequences, so as to encourage learning more effective skeleton representations for person re-ID. Extensive experiments validate that the proposed SimMC outperforms most state-of-the-art skeleton-based methods. We further show its scalability and efficiency in enhancing the performance of existing models. Our codes are available at https://github.com/Kali-Hac/SimMC.

研究の動機と目的

• 高価なラベル付けを要する教師ありおよび手作業で設計されたスケルトンベースの人物再識別手法の限界を解消すること。
• 生の3次元スケルトンシーケンスから直接判別性の高いスケルトン表現を学習できる汎用的でラベルフリーのフレームワークを開発すること。
• ラベルなしデータにおけるプロトタイプ間類似性と自己シーケンス内運動の一貫性を活用することで表現学習を向上させること。
• 既存のモデルおよびRGBベースのスケルトン推定パイプラインとのスケーラビリティと互換性を高めること。

提案手法

• 生のスケルトンシーケンスのランダムにマスクされたセグメントから得られる部分シーケンス表現を、学習済みのスケルトンプロトタイプと比較・対照するマスク付きプロトタイプ対照学習（MPC）を提案する。
• インスタンス-プロトタイプ対照損失を用いて類似するインスタンスを近づけ、類似しないものを遠ざけることで、自己教師付き特徴学習を可能にする。
• 時間的に隣接する部分シーケンス間のパターンの一貫性を捉えるために、マスク付き自己シーケンス内対照学習（MIC）を導入し、運動の連続性を活用する。
• 生の3次元関節座標を直接処理できるように、最小限のアーキテクチャ複雑性を持つ多層パーセプトロン（MLP）バックボーンを採用する。
• トレーニングデータの拡張と、シーケンスの変動に対するロバストネス向上を目的として、ランダムマスキング戦略を適用する。
• MPCとMIC損失を学習可能な重み（λ）で融合し、判別性と一貫性の両立した表現学習を共同最適化する。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしで完全に自己教師付きの対照学習フレームワークが、人物再識別に向けた判別性の高いスケルトン表現を効果的に学習できるか。
• RQ2 どのようにマスクされた部分シーケンス表現を用いて典型的なスケルトンプロトタイプと対照させ、特徴学習を向上させられるか。
• RQ3 自己シーケンス内運動の一貫性をモデル化することで、学習されたスケルトン表現の質がどの程度向上するか。
• RQ4 最先端の教師ありおよび自己教師付きスケルトンベース再識別手法と比較して、提案されたSimMCフレームワークは正答率および一般化性能においてどのように差をつけるか。
• RQ5 SimMCはRGB動画から推定されたスケルトンシーケンスに効果的に適用可能か。また、既存モデルのファインチューニング時に性能向上をもたらすか。

主な発見

• CASIA-BデータセットにおいてSimMCはトップ1正答率42.5%を達成し、最先端手法SM-SGEを5.6ポイント上回った。
• KS20およびBIWIデータセットでは、それぞれmAPが8.6%および0.4%向上し、優れた一般化性能を示した。
• アブレーションスタディにより、MPC単体でもトップ1正答率が9.8%向上し、47.8%に達することが確認され、代表的特徴のマイニングにおける有効性が裏付けられた。
• MPCにMICを追加することで、トップ1正答率に0.8%〜2.5%、mAPに0.2%〜1.2%の追加向上が得られ、自己シーケンス内一貫性学習が表現品質を向上させることを実証した。
• t-SNE可視化では、AGEおよびSM-SGEと比較してSimMCがより分離性が高くエントロピーが低い表現を学習していることが示され、意味的豊かさと優れたクラスタリング性能を示した。
• フレームワークはハイパーパrameterの変更に対して頑健であり、特に温度τとマスキング戦略に対して安定しており、MPCとMICの適切な融合（λ）により最適性能が達成された。