[论文解读] Learning Clothing and Pose Invariant 3D Shape Representation for Long-Term Person Re-Identification

Feng Liu, Minchul Kim+3 more|arXiv (Cornell University)|Aug 21, 2023

Video Surveillance and Tracking MethodsComputer Science被引用 3

一句话总结

本文提出3DInvarReID，一种新颖的长时Person Re-Identification（LT-ReID）方法，通过联合双层隐式神经表示，从3D着装人体表征中解耦身份（裸体形状）与非身份因素（姿态、服装形状和纹理）。通过联合重建精确的3D着装人体并利用自监督图像重建和身份损失学习判别性裸体形状特征，该方法在新构建的真实世界数据集CCDA上实现了SOTA性能，LT-ReID的Rank-1准确率达到36.3%。

ABSTRACT

Long-Term Person Re-Identification (LT-ReID) has become increasingly crucial in computer vision and biometrics. In this work, we aim to extend LT-ReID beyond pedestrian recognition to include a wider range of real-world human activities while still accounting for cloth-changing scenarios over large time gaps. This setting poses additional challenges due to the geometric misalignment and appearance ambiguity caused by the diversity of human pose and clothing. To address these challenges, we propose a new approach 3DInvarReID for (i) disentangling identity from non-identity components (pose, clothing shape, and texture) of 3D clothed humans, and (ii) reconstructing accurate 3D clothed body shapes and learning discriminative features of naked body shapes for person ReID in a joint manner. To better evaluate our study of LT-ReID, we collect a real-world dataset called CCDA, which contains a wide variety of human activities and clothing changes. Experimentally, we show the superior performance of our approach for person ReID.

研究动机与目标

• 为解决在长时间间隔内因显著服装和姿态变化带来的长时Person Re-Identification（LT-ReID）挑战。
• 通过联合3D表示与拟合框架，对3D着装人体建模，实现身份（裸体形状）与非身份成分（姿态、服装形状和纹理）的解耦。
• 开发一种自监督学习方法，仅利用带有身份标签的2D图像，避免对配对3D扫描或服装标注的需求。
• 收集并发布一个新的真实世界数据集CCDA，用于在多样的人类活动和服装变化下评估LT-ReID。
• 通过联合3D重建与身份识别，学习判别性、服装与姿态不变的3D形状特征，从而提升LT-ReID性能。

提出的方法

• 该方法采用双层隐式神经表示来建模3D着装人体，将身份、服装形状和纹理分别解耦为独立的潜在编码。
• 使用可微分神经渲染器从3D隐式表示中合成2D图像，支持通过图像重建损失实现自监督训练。
• 模型通过结合图像重建损失和身份分类损失进行端到端训练，仅依赖带有身份标签的2D图像。
• 解耦模块确保身份编码仅捕捉裸体形状，而姿态和服装成分则被隔离在独立的潜在空间中。
• 该框架包含一个预训练阶段，以稳定模糊的解耦过程，提升特征质量与收敛性。
• 3D人体形状在规范空间中重建，重建精度通过HBW基准上的Chamfer距离（CD-L2）进行评估。

Figure 1: Illustration of the differences between various person re-identification (ReID) settings. Both (a) conventional/short-term and (b) cloth-changing person ReID benchmarks often restrict subjects to walking or standing, limiting their applications in real-world scenarios. This paper expands o

实验结果

研究问题

• RQ1 联合3D隐式表示能否在2D图像中有效解耦身份（裸体形状）与非身份成分（姿态、服装形状和纹理）？
• RQ2 引入3D形状先验与自监督3D重建，如何提升在服装和姿态变化下的长时Person Re-Identification性能？
• RQ3 建模3D服装形状与纹理在多大程度上增强了LT-ReID中身份特征的判别性？
• RQ4 与现有2D和3D ReID基线相比，该方法在真实世界、多样化活动场景下的有效性如何？
• RQ5 预训练与联合3D重建对解耦与识别性能的贡献分别是什么？

主要发现

• 所提出的3DInvarReID方法在CCDA数据集上实现了36.3%的Rank-1准确率，显著优于消融模型与SOTA基线。
• 移除3D模块后，Rank-1准确率降至28.4%，证明3D形状建模在LT-ReID中的关键作用。
• 省略3D服装建模后性能降至32.1% Rank-1，表明建模服装形状与纹理可增强身份特征的判别性。
• 预训练使Rank-1准确率提升7.0个百分点（从29.3%提升至36.3%），证实其在稳定解耦过程中的重要性。
• 在HBW基准上，该方法实现3D裸体形状重建的CD-L2为0.610，优于LVD（0.654）与SHAPY（0.632）。
• 定性结果表明，3DInvarReID生成的3D裸体形状比LVD与SHAPY更准确，且与ICON和ClothWild的着装人体重建效果相当。

Figure 2: Overview of the proposed joint learning framework for long-term person re-identification and $3$ D clothed body shape reconstruction. During the inference of ReID, the identity shape feature $\mathbf{z}_{id}$ is utilized for matching.