[논문 리뷰] Dual-Refinement: Joint Label and Feature Refinement for Unsupervised Domain Adaptive Person Re-Identification

Yongxing Dai, Jun Liu외 3명|arXiv (Cornell University)|2020. 12. 26.

Video Surveillance and Tracking Methods참고 문헌 102인용 수 102

한 줄 요약

이 논문은 비지도 도메인 적응(person re-identification)를 위한 새로운 비지도 도메인 적응 방법인 Dual-Refinement을 제안한다. 이 방법은 오프라인 클러스터링 동안 가짜 레이블을 동시에 보완하고 온라인 학습 동안 특징을 보완하는 방식을 취한다. 계층적 클러스터링과 대표 프로토타입, 즉각 메모리 산산이 흩어지는 정규화를 도입함으로써 노이즈가 많은 레이블의 영향을 줄이고 특징의 분류 가능성을 향상시켜 표준 벤치마크에서 최고 성능을 달성하면서도 계산 오버헤드를 최소화한다.

ABSTRACT

Unsupervised domain adaptive (UDA) person re-identification (re-ID) is a challenging task due to the missing of labels for the target domain data. To handle this problem, some recent works adopt clustering algorithms to off-line generate pseudo labels, which can then be used as the supervision signal for on-line feature learning in the target domain. However, the off-line generated labels often contain lots of noise that significantly hinders the discriminability of the on-line learned features, and thus limits the final UDA re-ID performance. To this end, we propose a novel approach, called Dual-Refinement, that jointly refines pseudo labels at the off-line clustering phase and features at the on-line training phase, to alternatively boost the label purity and feature discriminability in the target domain for more reliable re-ID. Specifically, at the off-line phase, a new hierarchical clustering scheme is proposed, which selects representative prototypes for every coarse cluster. Thus, labels can be effectively refined by using the inherent hierarchical information of person images. Besides, at the on-line phase, we propose an instant memory spread-out (IM-spread-out) regularization, that takes advantage of the proposed instant memory bank to store sample features of the entire dataset and enable spread-out feature learning over the entire training data instantly. Our Dual-Refinement method reduces the influence of noisy labels and refines the learned features within the alternative training process. Experiments demonstrate that our method outperforms the state-of-the-art methods by a large margin.

연구 동기 및 목표

• 고내부 클러스터링 분산으로 인해 신뢰할 수 없는 레이블을 생성하는 비지도 도메인 적응 사람 재식별(UA-ReID)에서 노이즈가 많은 가짜 레이블 문제를 해결한다.
• 온라인 학습 중에 노이즈가 많은 가짜 레이블의 악영향을 줄임으로써 타겟 도메인의 특징 분류 가능성을 향상시킨다.
• 가짜 레이블 품질과 특징 학습 간 오류 전파 피드백 루프를 깰 수 있는 이중 최적화 프레임워크를 개발한다.
• 효율적인 즉각 메모리 백업을 도입하여 계산 비용을 줄이면서도 높은 성능을 유지한다.

제안 방법

• 두 단계 계층적 클러스터링 기반의 방법을 제안한다: 먼저 타겟 도메인 특징에 대해 굵은 클러스터링을 수행한 후, 각 굵은 클러스터 내에서 정밀 클러스터링을 수행하여 대표 프로토타입을 식별한다.
• 정밀 클러스터의 중심점을 각 굵은 클러스터의 대표 프로토타입으로 사용하여 국소적 근접성 기반 유사도 계산에 의존하지 않고, 전역적이고 강력한 샘플-클러스터 유사도 계산을 가능하게 한다.
• 모든 타겟 도메인 특징를 저장하는 즉각 메모리 백업을 활용하여 온라인 학습 중 전체 데이터셋에 걸쳐 특징의 산산이 흩어지는 것을 강제하는 즉각 메모리 산산이 흩어지는 정규화(IM-spread-out)를 도입한다.
• IM-spread-out 손실을 대비 정규화로 공식화하여 어려운 노이즈가 많은 샘플이 결정 경계에서 멀어지도록 유도하면서도 클래스 일관성을 유지한다.
• 계층적 클러스터링 기반의 가짜 레이블 보완과 IM-spread-out 정규화를 번갈아가며 적용하는 학습 루프를 구성하여 레이블 순도와 특징 분류 가능성을 동시에 최적화한다.
• 가능한 가중치 α를 사용하여 굵은 및 정밀 가짜 레이블 기반의 메트릭 학습을 균형 잡고, IM-spread-out 정규화를 가능할 가중치 µ와 통합한다.

실험 결과

연구 질문

• RQ1 타겟 도메인 데이터의 계층적 구조를 활용하여 UDA-ReID에서 오프라인 가짜 레이블의 신뢰성을 어떻게 향상시킬 수 있는가?
• RQ2 전역적 특징 정규화를 통해 노이즈가 많은 가짜 레이블의 영향을 줄임으로써 온라인 특징 학습은 어느 정도 향상될 수 있는가?
• RQ3 즉각 메모리 백업을 통해 높은 비용 없이 효과적인 저비용 전역 특징 산산이 흩어짐 정규화를 실현할 수 있는가?
• RQ4 예를 들어 정밀 클러스터 수나 산산이 흩어짐 정규화의 손실 가중치와 같은 초모델 하이퍼파rameter는 최종 성능에 어떤 영향을 미치는가?

주요 결과

• Dual-Refinement은 Market1501에서 82.1%의 랭크-1 정확도를 기록했고, DukeMTMC에서도 82.1%를 달성하여 기준 방법(72.5%)과 MMT와 같은 최신 기법(78.0%)을 크게 앞서는 성능을 보였다.
• mAP는 Market1501에서 기준값 3.17%에서 3.53%로 향상되었고, DukeMTMC에서는 11.45%에서 15.07%로 상승하여 모든 메트릭에서 일관된 성능 향상을 보였다.
• 절단 실험 결과 최적의 손실 가중치 α = 0.5 및 µ = 0.1를 확보하였으며, 이 값에서 성능이 최고조에 이르렀고, 더 높이면 성능 저하가 발생함을 통해 레이블 보완과 정규화 강도 사이의 상충 관계를 확인하였다.
• k-최근접 이웃 수(k)는 강한 영향을 미친다: k ≤ 10일 경우 성능은 안정적이지만, k > 10일 경우 급격히 떨어지며, 너무 많은 노이즈가 많은 양성 샘플이 산산이 흩어짐 효과를 떨어뜨린다.
• 정밀 클러스터 수 R은 매우 중요하다: Duke→Market1501에서는 R = 5, Market1501→Duke에서는 R = 2일 때 최고 성능를 기록하여 계층적 클러스터링이 레이블 신뢰도를 향상시킨다는 것을 보여준다.
• 기준 방법 대비 mAP에서 10% 향상된 성능을 달성했고, 추가 학습 시간은 0.36시간에 불과하여 높은 효율성과 확장 가능성을 입증했다.