[논문 리뷰] Implicit Sample Extension for Unsupervised Person Re-Identification

Xinyu Zhang, Dongdong Li외 6명|arXiv (Cornell University)|2022. 04. 14.

Video Surveillance and Tracking Methods인용 수 8

한 줄 요약

이 논문은 임베딩 공간에서 군집 경계 근처에 점진적 선형 보간(PLI)을 사용하여 합성 지원 샘플을 생성함으로써 부하-클러스터링 및 혼합-클러스터링 오류를 줄이는 새로운 비지도(person re-identification) 방법인 암시적 샘플 확장(Implicit Sample Extension, ISE)을 제안한다. 레이블 유지 대비 손실을 통합함으로써 ISE는 클러스터링 품질을 향상시키고, 카메라 정보를 사용하지 않고도 Market-1501에서 84.7% mAP 및 94.0% top-1 정확도, MSMT17에서 35.0% mAP 및 64.7% top-1 정확도를 달성하여 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Most existing unsupervised person re-identification (Re-ID) methods use clustering to generate pseudo labels for model training. Unfortunately, clustering sometimes mixes different true identities together or splits the same identity into two or more sub clusters. Training on these noisy clusters substantially hampers the Re-ID accuracy. Due to the limited samples in each identity, we suppose there may lack some underlying information to well reveal the accurate clusters. To discover these information, we propose an Implicit Sample Extension (\OurWholeMethod) method to generate what we call support samples around the cluster boundaries. Specifically, we generate support samples from actual samples and their neighbouring clusters in the embedding space through a progressive linear interpolation (PLI) strategy. PLI controls the generation with two critical factors, i.e., 1) the direction from the actual sample towards its K-nearest clusters and 2) the degree for mixing up the context information from the K-nearest clusters. Meanwhile, given the support samples, ISE further uses a label-preserving loss to pull them towards their corresponding actual samples, so as to compact each cluster. Consequently, ISE reduces the "sub and mixed" clustering errors, thus improving the Re-ID performance. Extensive experiments demonstrate that the proposed method is effective and achieves state-of-the-art performance for unsupervised person Re-ID. Code is available at: \url{https://github.com/PaddlePaddle/PaddleClas}.

연구 동기 및 목표

• 클러스터링 오류로 인한 하위-클러스터링 및 혼합-클러스터링 문제로 인해 발생하는 노이즈가 많은 가짜 레이블 문제를 해결하기 위해.
• 한 정체성당 샘플 수가 제한되어 발생하는 기저 정보 손실을 복구함으로써 클러스터링 품질을 향상시키기 위해.
• 모델 파라미터를 필요로 하지 않고, 이미지 공간에서의 명시적 생성 없이도 맥락 표현을 향상시키는 암시적 샘플 생성 방법을 제안하기 위해.
• 카메라 또는 도메인 특화 annotation에 의존하지 않고도 비지도(person Re-ID)에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• ISE는 임베딩 공간에서 실제 샘플과 그 K개 이웃 클러스터 중심 간의 점진적 선형 보간(PLI)을 통해 지원 샘플을 생성한다.
• PLI는 두 요소를 사용하여 샘플 생성을 제어한다: 방향(샘플에서 K개 이웃 클러스터 중심 향함)과 정도(이웃 클러스터의 맥락을 점진적으로 혼합함).
• 레이블 유지 대비(LP) 손실이 도입되어 지원 샘플을 원래 샘플 쪽으로 끌어당기며, 클러스터를 더욱 조밀하게 하고 클래스 간 혼동을 줄인다.
• 지원 샘플은 실제 학습 샘플로 간주되어 추가적인 특징 추출 없이도 모델 최적화에 참여할 수 있다.
• 이 방법은 암시적으로 임베딩 공간에서 작동하므로, GAN 기반 이미지 생성이나 추가 파라미터가 필요하지 않다.
• 이 방법은 표준 Re-ID 프레임워크와 호환되며, GeM 풀링 전략과 조합하여 성능 향상을 더욱 높일 수 있다.

실험 결과

연구 질문

• RQ1 암시적 샘플 생성이 부족한 정체성 간 변동성을 복구함으로써 비지도(person Re-ID)에서 클러스터링 품질을 향상시킬 수 있는가?
• RQ2 모델 파라미터나 픽셀 공간 생성 없이도 하위-클러스터링 및 혼합-클러스터링 오류를 줄일 수 있도록 지원 샘플을 어떻게 생성할 수 있는가?
• RQ3 통제된 맥락 혼합을 통한 점진적 보간이 기준 클러스터링 방법에 비해 Re-ID 성능 향상에 얼마나 기여하는가?
• RQ4 노이즈가 많은 가짜 레이블이 존재하는 상황에서 레이블 유지 손실이 클러스터를 효과적으로 조밀하게 하고 클래스 간 혼동을 줄이는가?
• RQ5 ISE는 다양한 데이터셋에 일반화되어 카메라 또는 진짜 정체성 정보 없이도 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• Market-1501에서 ISE는 84.7% mAP 및 94.0% top-1 정확도를 달성하여, 동일한 비카메라 설정에서 이전 SOTA인 Cluster-Contrast(82.6% mAP)를 능가한다.
• MSMT17에서 ISE는 35.0% mAP 및 64.7% top-1 정확도를 기록하여 카메라 정보 없이도 OPLG-HCD(26.9% mAP), ICE(29.8% mAP), Cluster-Contrast(33.3% mAP)를 초월한다.
• GeM 풀링을 적용한 경우, ISE는 Market-1501에서 85.3% mAP 및 94.3% top-1 정확도로 향상되어 강력한 도메인 일반화 능력과 고급 특징 풀링과의 호환성을 입증한다.
• 진짜 레이블을 사용하는 지도 학습 설정에서 ISE는 Market-1501에서 87.8% mAP 및 95.6% top-1 정확도를 달성하여 PCB 및 DG-Net과 같은 잘 알려진 지도 학습 방법을 뛰어넘는다.
• 절단 실험 결과, PLI와 레이블 유지 손실 모두가 필수적임을 확인하였으며, 각 성분이 성능 향상에 기여하는 데 기여한다.
• 클러스터 경계에 의미 있는 지원 샘플을 생성함으로써, 임베딩 공간에서의 시각화를 통해 하위-클러스터링 및 혼합-클러스터링 행동을 효과적으로 줄였다.