[논문 리뷰] Unsupervised Lifelong Person Re-identification via Contrastive Rehearsal

Hao Chen, Benoit Lagadec외 1명|arXiv (Cornell University)|2022. 03. 12.

Video Surveillance and Tracking Methods인용 수 5

한 줄 요약

이 논문은 끊임없는 지식 유출 없이 지속적인 비지도 도메인 적응을 가능하게 하는 새로운 방법인 비지도 대비 재활용(Unsupervised Contrastive Rehearsal, UCR)을 제안한다. 소량의 저장된 이전 샘플을 대비적으로 재활용하고, 이전 모델과 새로운 모델 간의 이미지 간 유사도 일관성을 강제함으로써, UCR는 본 적 있는 도메인과 본 적 없는 도메인 모두에서 뛰어난 일반화 성능을 달성하며, 기존 방법들보다 제로샷 및 도메인 내 일반화 설정 모두에서 슈퍼리어한 성능을 보인다.

ABSTRACT

Existing unsupervised person re-identification (ReID) methods focus on adapting a model trained on a source domain to a fixed target domain. However, an adapted ReID model usually only works well on a certain target domain, but can hardly memorize the source domain knowledge and generalize to upcoming unseen data. In this paper, we propose unsupervised lifelong person ReID, which focuses on continuously conducting unsupervised domain adaptation on new domains without forgetting the knowledge learnt from old domains. To tackle unsupervised lifelong ReID, we conduct a contrastive rehearsal on a small number of stored old samples while sequentially adapting to new domains. We further set an image-to-image similarity constraint between old and new models to regularize the model updates in a way that suits old knowledge. We sequentially train our model on several large-scale datasets in an unsupervised manner and test it on all seen domains as well as several unseen domains to validate the generalizability of our method. Our proposed unsupervised lifelong method achieves strong generalizability, which significantly outperforms previous lifelong methods on both seen and unseen domains. Code will be made available at https://github.com/chenhao2345/UCR.

연구 동기 및 목표

• 비지도 person ReID에서 지속적 학습의 부재 문제를 해결하기 위해, 새로운 도메인에 적응할 때 이전 지식을 상실하는 모델의 문제를 해결한다.
• 사람 주석 없이 새로운 레이블이 없는 데이터에서 점진적으로 학습할 수 있는 실용적인 수명 주기 ReID 프레임워크를 개발한다.
• 이전 지식을 대비 재활용을 통해 보존함으로써, 비지도 도메인 적응 과정에서의 치명적 기억 상실을 완화한다.
• 통합적이고 확장 가능한 학습 절차를 통해 본 적 있는 도메인과 본 적 없는 도메인 모두에서 일반화 능력을 향상시킨다.

제안 방법

• 대비 재활용 메커니즘이 이전 도메인의 소수의 대표 이미지와 그들의 클러스터 프로토타입을 장기 메모리 버퍼에 저장한다.
• 이전 도메인 샘플에 대해 의사 레이블을 생성하고, 대비 학습을 적용하여 도메인 이동 동안 이전 샘플이 자신의 의사 양성 쌍보다 의사 음성 쌍과 더 가까워지도록 보장한다.
• 고정된 이전 모델과 현재 모델이 계산한 이전 샘플의 이미지 간 표현 간 유사도 일관성을 강제로 유지함으로써, 업데이트 과정을 정규화하여 이전 지식을 보존한다.
• 이 방법은 이중 손실을 사용한다: 저장된 이전 샘플에 대한 재활용 손실과 이전 모델 및 새로운 모델의 예측 간 유사도 일관성 손실.
• 모델은 비지도 방식으로 여러 대규모 데이터셋을 순차적으로 학습하여 실제 환경에서의 점진적 데이터 도착을 시뮬레이션한다.
• 메모리 업데이트는 각 클러스터 프로토타입에 가장 가까운 K개의 이미지를 선택하여 의사 레이블 노이즈를 줄이고 신뢰도를 향상시킨다.

실험 결과

연구 질문

• RQ1 새로운 데이터에 인간 주석 없이 비지도 수명 주기 person ReID를 효과적으로 달성할 수 있는가?
• RQ2 ReID에서 지속적인 비지도 도메인 적응 과정에서 치명적 기억 상실을 어떻게 완화할 수 있는가?
• RQ3 이전 샘플의 대비 재활용이 도메인 간 지식 보존에 어떤 역할을 하는가?
• RQ4 이전 모델과 새로운 모델 간 표현 일관성을 강제로 유지하면 일반화 능력이 어떻게 향상되는가?
• RQ5 이 방법은 본 적 있는 도메인 뿐 아니라 본 적 없는 도메인에도 일반화되는가?

주요 결과

• UCR는 본 도메인에서 59.3% mAP와 75.9% R1을 달성하여 AKA(SL) 및 C$^2$L(SL)과 같은 기존 방법들을 크게 앞서며 뛰어난 성능을 보였다.
• 본 적 없는 도메인에서는 58.3% mAP와 55.9% R1를 기록하여 강력한 제로샷 일반화 능력을 입증하였다.
• 하나의 신원당 메모리 크기를 늘릴수록 성능 향상이 관찰되었으며, K$_{mem}$=8일 때 모든 지표에서 최고의 성능을 기록하였다.
• 학습 순서에 대해 매우 강건하여, 가장 큰 도메인(MSMT17)을 먼저 학습해도 뛰어난 성능을 유지하였다.
• 클러스터 프로토타입에 가장 가까운 이미지만을 메모리 저장에 선택할 경우, 가장 먼 혹은 무작위 선택보다 더 뛰어난 성능을 기록하였다.
• 감도 분석 결과 최적의 초모수로 τ$_s$=0.2 및 λ$_{sim}$=20가 도메인 간 유사도 일관성 제약 조건에서 최적의 성능을 보였다.