[論文レビュー] Learning Clothing and Pose Invariant 3D Shape Representation for Long-Term Person Re-Identification

Feng Liu, Minchul Kim+3 more|arXiv (Cornell University)|Aug 21, 2023

Video Surveillance and Tracking MethodsComputer Science被引用数 3

ひとこと要約

本稿では、3D衣装被服人体表現におけるアイデンティティ要因（裸体形状）と非アイデンティティ要因（ポーズ、衣装形状、テクスチャ）を分離する、2段階の暗黙的ニューラル表現を用いた、長期間人物再識別（LT-ReID）のための新規手法3DInvarReIDを提案する。自己教師付きの画像再構成とアイデンティティ損失を用いて、正確な3D被服人体の再構成と判別性の高い裸体形状特徴の学習を同時に実現することで、実世界の新しいデータセットCCDAにおいて、LT-ReIDでSOTA性能を達成し、Rank-1正答率36.3%を達成した。

ABSTRACT

Long-Term Person Re-Identification (LT-ReID) has become increasingly crucial in computer vision and biometrics. In this work, we aim to extend LT-ReID beyond pedestrian recognition to include a wider range of real-world human activities while still accounting for cloth-changing scenarios over large time gaps. This setting poses additional challenges due to the geometric misalignment and appearance ambiguity caused by the diversity of human pose and clothing. To address these challenges, we propose a new approach 3DInvarReID for (i) disentangling identity from non-identity components (pose, clothing shape, and texture) of 3D clothed humans, and (ii) reconstructing accurate 3D clothed body shapes and learning discriminative features of naked body shapes for person ReID in a joint manner. To better evaluate our study of LT-ReID, we collect a real-world dataset called CCDA, which contains a wide variety of human activities and clothing changes. Experimentally, we show the superior performance of our approach for person ReID.

研究の動機と目的

• 長期間にわたる時間的ギャップにおいて、著しい衣装変化やポーズ変化が生じる状況下での長期間人物再識別（LT-ReID）の課題に対処すること。
• 2段階の3D表現とフィッティングフレームワークを用いて、3D被服人体モデルにおいてアイデンティティ（裸体形状）を非アイデンティティ成分（ポーズ、衣装形状、テクスチャ）から分離すること。
• ペアの3Dスキャンや衣装アノテーションを必要とせず、アイデンティティラベルのみを備えた2D画像を用いる自己教師付き学習アプローチを開発すること。
• 多様な人間の行動と衣装変化を想定したLT-ReID評価を可能にするために、新しい実世界データセットCCDAを収集・公開すること。
• 3D再構成とアイデンティティ認識を統合することで、衣装・ポーズに依存しない判別性の高い3D形状特徴を学習し、LT-ReID性能を向上させること。

提案手法

• 本手法は、アイデンティティ、衣装形状、テクスチャを別々の潜在コードに分離する2段階の暗黙的ニューラル表現を用いて、3D被服人体をモデル化する。
• 可微分なニューラルレンダラを用いて、3D暗黙的表現から2D画像を合成し、画像再構成損失を介した自己教師付き学習を可能にする。
• 2D画像とアイデンティティラベルのみを用いて、画像再構成損失とアイデンティティ分類損失の組み合わせにより、エンドツーエンドでモデルを訓練する。
• 分離モジュールにより、アイデンティティコードが裸体形状のみを捉えるように保証し、ポーズと衣装成分は別々の潜在空間に分離される。
• 曖昧な分離プロセスを安定化させるために、事前学習段階を含み、特徴品質と収束性が向上する。
• 3Dボディーシェイプはキャノニカル空間で再構成され、再構成精度はHBWベンチマークにおけるChamfer距離（CD-L2）で評価される。

Figure 1: Illustration of the differences between various person re-identification (ReID) settings. Both (a) conventional/short-term and (b) cloth-changing person ReID benchmarks often restrict subjects to walking or standing, limiting their applications in real-world scenarios. This paper expands o

実験結果

リサーチクエスチョン

• RQ1 2D画像において、統合的3D暗黙的表現が、アイデンティティ（裸体形状）を非アイデンティティ成分（ポーズ、衣装形状、テクスチャ）から効果的に分離できるか？
• RQ2 3D形状の事前知識と自己教師付き3D再構成を組み合わせることで、衣装やポーズの変化に伴う長期間人物再識別性能がどのように向上するか？
• RQ3 3D衣装形状とテクスチャのモデリングが、LT-ReIDにおけるアイデンティティ特徴の判別性をどの程度向上させるか？
• RQ4 実世界の多様な行動シナリオにおいて、既存の2Dおよび3D ReIDベースラインと比較して、本手法はどの程度有効であるか？
• RQ5 事前学習と統合的3D再構成は、分離性能および認識性能にどの程度寄与するか？

主な発見

• 提案手法3DInvarReIDは、CCDAデータセットにおいて36.3%のRank-1正答率を達成し、アブレーションモデルやSOTAベースラインを顕著に上回った。
• 3Dモジュールを削除すると、Rank-1正答率は28.4%に低下し、LT-ReIDにおける3D形状モデリングの重要性が明確になった。
• 3D衣装モデリングを省略すると、Rank-1正答率は32.1%に低下し、衣装形状とテクスチャのモデリングがアイデンティティ特徴の判別性を向上させることを示した。
• 事前学習により、Rank-1正答率は7.0ポイント上昇（29.3% → 36.3%）し、分離の安定化に寄与することが確認された。
• HBWベンチマークでは、3D裸体再構成のCD-L2が0.610を達成し、LVD（0.654）とSHAPY（0.632）を上回った。
• 定性的な結果から、3DInvarReIDはLVDやSHAPYよりも正確な3D裸体形状を生成し、ICONやClothWildと同等の被服人体再構成を達成した。

Figure 2: Overview of the proposed joint learning framework for long-term person re-identification and $3$ D clothed body shape reconstruction. During the inference of ReID, the identity shape feature $\mathbf{z}_{id}$ is utilized for matching.