[논문 리뷰] Towards Discriminative Representation Learning for Unsupervised Person Re-identification
이 논문은 군집 기반 대비 학습, 점진적 도메인 적응, 푸리에 공간 증강을 통해 분류 특징 학습을 향상시키는 비지도(person re-identification) 통합 프레임워크를 제안한다. 반복적으로 허위 레이블을 개선하고, 원천 도메인에서 목표 도메인으로 지식을 점진적으로 전달하며, 주파수 도메인에서 클래스 간 분리성(분류 가능성)을 강제화함으로써, 여러 벤치마크에서 SOTA를 초월하여 mAP를 8.1%에서 11.4%까지 향상시킨다.
In this work, we address the problem of unsupervised domain adaptation for person re-ID where annotations are available for the source domain but not for target. Previous methods typically follow a two-stage optimization pipeline, where the network is first pre-trained on source and then fine-tuned on target with pseudo labels created by feature clustering. Such methods sustain two main limitations. (1) The label noise may hinder the learning of discriminative features for recognizing target classes. (2) The domain gap may hinder knowledge transferring from source to target. We propose three types of technical schemes to alleviate these issues. First, we propose a cluster-wise contrastive learning algorithm (CCL) by iterative optimization of feature learning and cluster refinery to learn noise-tolerant representations in the unsupervised manner. Second, we adopt a progressive domain adaptation (PDA) strategy to gradually mitigate the domain gap between source and target data. Third, we propose Fourier augmentation (FA) for further maximizing the class separability of re-ID models by imposing extra constraints in the Fourier space. We observe that these proposed schemes are capable of facilitating the learning of discriminative feature representations. Experiments demonstrate that our method consistently achieves notable improvements over the state-of-the-art unsupervised re-ID methods on multiple benchmarks, e.g., surpassing MMT largely by 8.1\%, 9.9\%, 11.4\% and 11.1\% mAP on the Market-to-Duke, Duke-to-Market, Market-to-MSMT and Duke-to-MSMT tasks, respectively.
연구 동기 및 목표
- 기존 비지도 도메인 적응 방법이 인체 재식별에서 레이블 노이즈와 원천 도메인에서 목표 도메인으로의 지식 전달이 열악한 점을 해결하기 위해.
- 비정상 라벨이 많은 목표 도메인의 비정상 데이터에 대해 군집화를 통해 생성된 허위 레이블의 노이즈를 대비 학습을 통한 반복 최적화로 감소시키기 위해.
- 두 단계 학습을 대체하여 점진적 도메인 적응 전략을 도입함으로써 라벨이 있는 원천 도메인에서 라벨이 없는 목표 도메인으로의 지식 전달을 향상시키기 위해.
- 푸리에 도메인에 추가 제약 조건을 도입하여 학습된 특징의 클래스 간 분리성을 향상시키기 위해.
- 목표 도메인에 수동 애너테이션을 요구하지 않고도 다양한 교차 도메인 인체 재식별 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하기 위해.
제안 방법
- 군집 기반 대비 학습(CCL)을 도입하여, 군집화로 생성된 허위 레이블을 대비 학습 목표의 감독 신호로 사용하며, 모멘텀 기반 이동 평균 인코더와 동적 큐를 활용해 음성 샘플을 제공한다.
- 점진적 도메인 적응(PDA) 전략을 적용하여 원천 도메인과 목표 도메인을 동시에 학습하면서 손실 가중치를 동적으로 조정함으로써, 점차 원천에서 목표 도메인으로의 감독 신호를 이동시켜 지식 전달을 향상시킨다.
- 푸리에 증강(FA)을 적용하여 진폭 스펙트럼 특징에 추가 손실 함수를 계산하고, 이를 비선형 변환으로 간주하여 분류 능력을 향상시킨다.
- 특징 군집화와 대비 학습을 번갈아 수행하는 통합 학습 파이프라인을 사용하여 허위 레이블을 반복적으로 개선하고 표현 품질을 향상시킨다.
- 공간 도메인과 푸리에 도메인에서 동시에 학습이 가능한 다중 브랜치 헤드를 구현하며, 두 감독 신호를 균형 잡기 위해 학습 가능한 손실 가중치를 사용한다.
- 학습 안정성 향상과 미니배치 간 다양한 음성 샘플 제공을 위해 모멘텀 인코더와 메모리 큐를 활용한다.
실험 결과
연구 질문
- RQ1군집 기반 대비 학습은 허위 레이블에 의한 노이즈를 줄이고, 특징의 분류 가능성을 향상시키는가?
- RQ2점진적 도메인 적응 전략은 기존의 두 단계 미세조정보다 원천 도메인에서 목표 도메인으로의 지식 전달 성능을 뛰어나게 하는가?
- RQ3푸리에 도메인 제약 조건은 공간 특징만으로는 부족한 클래스 간 분리성을 향상시키고 재식별 성능을 향상시키는가?
- RQ4다양한 손실 가중치 설정과 큐 크기 조합이 제안된 프레임워크의 안정성과 성능에 미치는 영향은 어떠한가?
- RQ5CCL, PDA, FA의 조합이 다양한 교차 도메인 재식별 벤치마크에서 일관된 성능 향상을 이끌어내는가?
주요 결과
- 제안된 방법은 Market-to-Duke에서 69.4% mAP와 82.7% rank-1을 달성하여 이전 SOTA 방법인 MMT를 11.4% mAP 향상시켰다.
- Duke-to-Market 벤치마크에서는 82.2% mAP와 93.6% rank-1을 기록하여 MMT를 11.1% mAP 향상시켰다.
- 절연 분석 결과, 3단계 정책을 적용한 점진적 도메인 적응 전략이 정적 가중치 설정과 두 단계 학습보다 우수하며, 정적 0.2/0.8 가중치 설정 대비 7.3% mAP 향상이 있었다.
- 푸리에 증강을 공간 특징와 조합한 결과, Market-to-Duke에서 69.4% mAP를 기록하여 공간 특징만 사용했을 때(67.3% 또는 67.6%)보다 뛰어나며, 모든 벤치마크에서 일관된 성능 향상을 보였다.
- 최적의 초모수는 δ=0.1과 γ=0.7로, 평가된 모든 설정에서 최고의 성능를 기록했다.
- 큐 크기와 양성 샘플 샘플링에 대해 뛰어난 내구성을 보이며, |N_past|=1024가 가장 우수한 성능를 보였다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.