[논문 리뷰] SimMC: Simple Masked Contrastive Learning of Skeleton Representations for Unsupervised Person Re-Identification

Haocong Rao, Chunyan Miao|arXiv (Cornell University)|2022. 04. 21.

Video Surveillance and Tracking Methods인용 수 4

한 줄 요약

이 논문은 3D 스켈레톤 시퀀스를 사용하여 레이블 없이도 사람 재식별을 수행하는 간단한 마스킹된 대비 학습 프레임워크인 SimMC를 제안한다. 마스킹된 프로토타입 대비 학습(MPC)을 통해 대표적인 특징을 군집하고, 마스킹된 내부 시퀀스 대비 학습(MIC)을 통해 운동 연속성을 활용함으로써, 레이블 없이도 구분 가능한 스켈레톤 표현을 학습한다. 다양한 벤치마크에서 최신 기술 수준을 넘어선 성능을 달성하였으며, CASIA-B에서 42.5%의 상위-1 정확도를 기록하고 SM-SGE보다 5.6% 향상시켰다.

ABSTRACT

Recent advances in skeleton-based person re-identification (re-ID) obtain impressive performance via either hand-crafted skeleton descriptors or skeleton representation learning with deep learning paradigms. However, they typically require skeletal pre-modeling and label information for training, which leads to limited applicability of these methods. In this paper, we focus on unsupervised skeleton-based person re-ID, and present a generic Simple Masked Contrastive learning (SimMC) framework to learn effective representations from unlabeled 3D skeletons for person re-ID. Specifically, to fully exploit skeleton features within each skeleton sequence, we first devise a masked prototype contrastive learning (MPC) scheme to cluster the most typical skeleton features (skeleton prototypes) from different subsequences randomly masked from raw sequences, and contrast the inherent similarity between skeleton features and different prototypes to learn discriminative skeleton representations without using any label. Then, considering that different subsequences within the same sequence usually enjoy strong correlations due to the nature of motion continuity, we propose the masked intra-sequence contrastive learning (MIC) to capture intra-sequence pattern consistency between subsequences, so as to encourage learning more effective skeleton representations for person re-ID. Extensive experiments validate that the proposed SimMC outperforms most state-of-the-art skeleton-based methods. We further show its scalability and efficiency in enhancing the performance of existing models. Our codes are available at https://github.com/Kali-Hac/SimMC.

연구 동기 및 목표

• 비용이 많이 들고 도메인 특화 모델링이 필요한 라벨이 필요한 감독 학습 및 수작업으로 구성된 스켈레톤 기반 사람 재식별 방법의 한계를 해결하기 위해.
• 원시 3D 스켈레톤 시퀀스에서 직접 구분 가능한 스켈레톤 표현을 학습할 수 있는 일반적이고 레이블이 없는 프레임워크를 개발하기 위해.
• 비라벨 데이터에서 프로토타입 간 유사성과 내부 시퀀스 운동 일관성을 모두 활용하여 표현 학습을 향상시키기 위해.
• 기존 모델 및 RGB 기반 스켈레톤 추정 파ipeline과의 확장성과 호환성을 향상시키기 위해.

제안 방법

• 원시 스켈레톤 시퀀스의 무작위로 마스킹된 세그먼트에서 유도된 부분 시퀀스 표현을 학습된 스켈레톤 프로토타입과 대비하여 군집화하는 마스킹된 프로토타입 대비 학습(MPC)을 제안한다.
• 유사한 인스턴스를 가까이 모으고 비유사한 인스턴스를 멀리 떼는 인스턴스-프로토타입 대비 손실을 사용하여, 자기지도 학습 기반의 특징 학습을 가능하게 한다.
• 운동 연속성을 활용하여 시간적으로 인접한 부분 시퀀스 간의 패턴 일관성을 캡처하기 위해 마스킹된 내부 시퀀스 대비 학습(MIC)을 도입한다.
• 원시 3D 관절 좌표를 직접 처리하기 위해 최소한의 아키텍처 복잡성을 지닌 다층 퍼셉트론(MLP) 백본을 활용한다.
• 훈련 데이터를 증강하고 시퀀스 변동에 대한 강건성을 향상시키기 위해 무작위 마스킹 전략을 적용한다.
• MPC와 MIC 손실을 학습 가능한 가중치(λ)로 융합하여, 구분 능력 있는 표현 학습과 일관성 있는 표현 학습을 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 라벨이 전혀 없는 조건에서 자기지도 학습 기반의 대비 학습 프레임워크가 사람 재식별을 위한 구분 가능한 스켈레톤 표현을 효과적으로 학습할 수 있는가?
• RQ2 어떻게 마스킹된 부분 시퀀스 표현을 활용하여 일반적인 스켈레톤 프로토타입을 발견하고 대비함으로써 특징 학습을 향상시킬 수 있는가?
• RQ3 내부 시퀀스 운동 일관성 모델링이 학습된 스켈레톤 표현의 품질을 어느 정도 향상시키는가?
• RQ4 최신 기술 수준의 감독 학습 및 자기지도 학습 기반 스켈레톤 기반 재식별 방법과 비교할 때, 제안된 SimMC 프레임워크는 정확도와 일반화 능력 측면에서 어떻게 성능을 내는가?
• RQ5 SimMC는 RGB 영상에서 추정된 스켈레톤 시퀀스에 효과적으로 적용될 수 있으며, 기존 모델의 미세조정을 통해 성능 향상이 이루어지는가?

주요 결과

• SimMC는 CASIA-B 데이터셋에서 42.5%의 상위-1 정확도를 기록하여 최신 기술 수준의 방법인 SM-SGE를 5.6%포인트 뛰어넘었다.
• KS20 및 BIWI 데이터셋에서 SimMC는 SM-SGE 대비 mAP를 각각 8.6%와 0.4% 향상시켜 강력한 일반화 능력을 입증했다.
• 제거 실험 결과 MPC만으로도 상위-1 정확도가 9.8% 향상되어 47.8%에 도달함을 확인하여, 대표적인 특징를 추출하는 데서의 효과성을 입증했다.
• MPC에 MIC를 추가하면 상위-1 정확도에서 추가로 0.8%에서 2.5% 향상되고, mAP에서 0.2%에서 1.2% 향상되어 내부 시퀀스 일관성 학습이 표현 품질 향상에 기여한다는 것을 증명했다.
• t-SNE 시각화 결과 SimMC는 AGE 및 SM-SGE보다 더 분리 가능하고 엔트로피가 낮은 표현을 학습하는 것으로 나타나 더 풍부한 의미 정보와 더 나은 군집화를 제공함을 시사한다.
• 프레임워크는 온도 τ 및 마스킹 전략과 같은 하이퍼파rameter 변화에 대해 강건하며, MPC와 MIC의 적절한 융합(λ)을 통해 최적의 성능을 달성한다.