[논문 리뷰] Camera-Driven Representation Learning for Unsupervised Domain Adaptive Person Re-identification

Geon Lee, Sanghoon Lee외 4명|arXiv (Cornell University)|2023. 08. 23.

Video Surveillance and Tracking MethodsComputer Science인용 수 3

한 줄 요약

이 논문은 레이블이 부여된 소스 도메인에서 레이블이 없는 타겟 도메인으로 모델을 점진적으로 적응시키기 위해 카메라 레이블을 활용하는 카메라 기반 커리큘럼 학습(CaCL) 프레임워크를 제안한다. 이를 통해 비지도 도메인 적응(person re-identification, reID)을 수행한다. 카메라 다양성(CD) 손실을 도입하여 카메라별 특징에 대한 가짜 레이블 편향을 완화함으로써, 카메라 간 차이에 대한 강인성을 크게 향상시키고 표준 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

We present a novel unsupervised domain adaption method for person re-identification (reID) that generalizes a model trained on a labeled source domain to an unlabeled target domain. We introduce a camera-driven curriculum learning (CaCL) framework that leverages camera labels of person images to transfer knowledge from source to target domains progressively. To this end, we divide target domain dataset into multiple subsets based on the camera labels, and initially train our model with a single subset (i.e., images captured by a single camera). We then gradually exploit more subsets for training, according to a curriculum sequence obtained with a camera-driven scheduling rule. The scheduler considers maximum mean discrepancies (MMD) between each subset and the source domain dataset, such that the subset closer to the source domain is exploited earlier within the curriculum. For each curriculum sequence, we generate pseudo labels of person images in a target domain to train a reID model in a supervised way. We have observed that the pseudo labels are highly biased toward cameras, suggesting that person images obtained from the same camera are likely to have the same pseudo labels, even for different IDs. To address the camera bias problem, we also introduce a camera-diversity (CD) loss encouraging person images of the same pseudo label, but captured across various cameras, to involve more for discriminative feature learning, providing person representations robust to inter-camera variations. Experimental results on standard benchmarks, including real-to-real and synthetic-to-real scenarios, demonstrate the effectiveness of our framework.

연구 동기 및 목표

• 소스 도메인과 타겟 도메인 간 카메라 구조의 상이함으로 인한 도메인 이동 문제를 해결하기 위해.
• 비지도 도메인 적응 과정에서 생성된 가짜 레이블에 내재된 카메라 편향을 완화하기 위해, 동일한 카메라에서 온 이미지들이 잘못되게 같은 가짜 ID로 그룹화되는 것을 방지하기 위해.
• 커리큘럼 스케줄을 통해 타겟 도메인의 단일 카메라에서 다수의 카메라로 점진적으로 모델을 적응시킴으로써 분류 가능한 특징 학습을 향상시키기 위해.
• 특징 학습 중에 다양한 카메라 간 클러스터 다양성을 유도함으로써 카메라 간 차이에 대한 강인성을 향상시키기 위해.
• 실제-실제 및 시뮬레이션-실제 벤치마크에서 비지도 도메인 적응 reID 분야에서 최신 기술 수준 성능을 달성하기 위해.

제안 방법

• 타겟 도메인 데이터셋을 카메라 레이블에 따라 부분집합으로 분할하여 점진적 커리큘럼 학습의 기초를 마련한다.
• 카메라 기반 스케줄링 규칙이 각 카메라 부분집합과 소스 도메인 간의 최대 평균 차이(MMD)를 계산하여 커리큘럼 순서를 선정하며, 소스에 가장 가까운 부분집합을 우선순위로 정한다.
• 모델은 반복적으로 학습되며, 처음에는 단일 카메라 부분집합에서 시작하여 MMD 기반 순서에 따라 점차 더 많은 부분집합을 포함시킨다.
• 각 커리큘럼 단계에서 현재 모델의 특징에 대해 클러스터링을 수행하여 가짜 레이블을 생성하고, 이를 통해 타겟 도메인에서 지도 학습을 가능하게 한다.
• 각 클러스터에 기여한 카메라 수에 따라 손실 항목을 재가중하는 카메라 다양성(CD) 손실을 도입하여 내부 클러스터 다양성을 촉진한다.
• CD 손실은 동일한 가짜 ID에 속한 특징들이 서로 다른 카메라 간에서 더 분류 가능하도록 유도하여 카메라 특화 편향을 감소시킨다.

실험 결과

연구 질문

• RQ1 카메라 레이블 기반의 커리큘럼 학습 전략이 비지도 도메인 적응(person re-identification)에서 성능 향상에 기여하는가?
• RQ2 타겟 부분집합과 소스 도메인 간의 MMD를 기반으로 한 카메라 기반 스케줄링이 적응 성능에 어떤 영향을 미치는가?
• RQ3 카메라 다양성(CD) 손실이 카메라 간 특징 유사성으로 인한 가짜 레이블 편향을 어느 정도 감소시키는가?
• RQ4 단일 카메라에서 다수 카메라 부분집합으로 점진적으로 적응하는 전략이 도메인 수준의 적응보다 더 우수한 일반화 성능을 보이는가?
• RQ5 CD 손실은 카메라 편향을 완화하는 데에 UGID와 같은 불확실성 기반 가중치 방법과 비교해 어떻게 다른가?

주요 결과

• 랜덤 커리큘럼 시퀀스에 비해 카메라 기반 스케줄러가 성능을 크게 향상시켜, 커리큘럼 설계가 UDA reID에 있어 핵심 요소임을 입증한다.
• 모든 벤치마크에서 CD 손실이 mAP와 랭크-1 정확도를 일관되게 향상시켜, 카메라 편향 감소에 효과적임을 확인한다.
• Market1501-to-MSMT17 벤치마크에서 88.9% mAP와 92.1% 랭크-1 성능을 기록하여 새로운 최신 기술 수준을 수립한다.
• MSMT17-to-Market1501 벤치마크에서 75.4% mAP와 84.3% 랭크-1 성능을 기록하여 이전 최신 기술 수준 방법들을 능가한다.
• CD 손실과 UGID 가중치 방법을 조합하면 최고의 성능을 달성하여 다양성과 불확실성 인식 가중치의 상호보완적 이점을 입증한다.
• 정성적 결과는 기존 방법들이 같은 카메라에서 온 다른 ID의 이미지를 자주 혼동하는 반면, 제안된 방법은 카메라 편향 없이 정확한 신원을 검색함을 확인한다.