[논문 리뷰] Hierarchical Clustering with Hard-batch Triplet Loss for Person Re-identification

Kaiwei Zeng|arXiv (Cornell University)|2019. 10. 27.

Video Surveillance and Tracking Methods참고 문헌 34인용 수 32

한 줄 요약

이 논문은 계층적 군집화와 하드-배치 트리플릿 손실을 조합하여 고품질의 가짜 레이블을 생성하는 완전히 비지도(person re-identification) 방법인 HCT를 제안한다. PK 샘플링과 하드-배치 트리플릿 학습을 반복적으로 통해 가짜 레이블을 정교화함으로써, HCT는 Market-1501에서 56.4% mAP, DukeMTMC-reID에서 50.7% mAP를 달성하여 최신 비지도 방법을 뛰어넘고, 많은 비지도 도메인 적응 방법조차도 능가한다.

ABSTRACT

For most unsupervised person re-identification (re-ID), people often adopt unsupervised domain adaptation (UDA) method. UDA often train on the labeled source dataset and evaluate on the target dataset, which often focuses on learning differences between the source dataset and the target dataset to improve the generalization of the model. Base on these, we explore how to make use of the similarity of samples to conduct a fully unsupervised method which just trains on the unlabeled target dataset. Concretely, we propose a hierarchical clustering-guided re-ID (HCR) method. We use hierarchical clustering to generate pseudo labels and use these pseudo labels as monitors to conduct the training. In order to exclude hard examples and promote the convergence of the model, We use PK sampling in each iteration, which randomly selects a fixed number of samples from each cluster for training. We evaluate our model on Market-1501, DukeMTMC-reID and MSMT17. Results show that HCR gets the state-of-the-arts and achieves 55.3% mAP on Market-1501 and 46.8% mAP on DukeMTMC-reID. Our code will be released soon.

연구 동기 및 목표

• 군집화에 의해 생성되는 열 劣한 품질의 가짜 레이블로 인한 완전히 비지도 재식별 방법의 성능 저하 문제를 해결하기 위해.
• 대상 도메인 내 샘플 간 유사도를 활용하여 계층적 군집화를 통해 가짜 레이블 품질을 향상시키기 위해.
• 유사한 외관을 가진 다른 정체성의 샘플들(하드 예제)이 군집화와 학습에 악영향을 미치는 것을 완화하기 위해.
• 반복적으로 가짜 레이블을 재초기화하고 하드-배치 트리플릿 손실로 미세조정함으로써 모델 수렴성과 성능을 향상시키기 위해.
• 수동으로 레이블링된 소스 데이터를 전혀 사용하지 않고도 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 계층적 군집화를 사용하여 대상 데이터셋의 샘플들을 특성 유사도 기반으로 군집화하며, 초기에는 각 샘플을 개별 군집으로 시작한다.
• 각 반복에서, 군집 간 거리 기반으로 고정된 수의 군집이 융합되어 학습을 위한 가짜 레이블이 생성된다.
• PK 샘플링을 적용하여 K개의 정체성에서 각각 P개의 양성 샘플을 선택하여 하드-배치 트리플릿 손실 학습을 위한 미니배치를 구성한다.
• 하드-배치 트리플릿 손실을 사용하여 내부 클래스 간 거리를 최소화하고 외부 클래스 간 거리를 최대화함으로써 특성의 분류 능력을 향상시킨다.
• 각 반복의 시작 시 가짜 레이블을 재초기화하여 잘못된 할당을 수정하고 시간이 지남에 따라 레이블 품질을 향상시킨다.
• 군집화, 샘플링, 학습의 과정을 모델 수렴 시까지 반복하며, 과적합을 방지하기 위해 조기 정지 기법을 적용한다.

실험 결과

연구 질문

• RQ1 계층적 군집화가 완전히 비지도 사람 재식별을 위한 고품질의 가짜 레이블을 효과적으로 생성할 수 있는가?
• RQ2 노이즈가 많은 가짜 레이블을 사용할 때 하드-배치 트리플릿 손실이 모델 일반화에 어떻게 기여하는가?
• RQ3 성능을 극대화하기 위해 군집 융합 속도(융합 비율을 통해 제어)와 군집 수(s) 사이의 최적 균형은 무엇인가?
• RQ4 가짜 레이블의 반복적 재초기화가 오류 전파를 줄이고 수렴을 향상시키는가?
• RQ5 계층적 군집화와 하드-배치 트리플릿 손실의 조합이 기존의 비지도 및 비지도 도메인 적응 방법을 능가하는가?

주요 결과

• HCT는 Market-1501에서 56.4% mAP, DukeMTMC-reID에서 50.7% mAP를 달성하여 최신 기술 수준의 완전히 비지도 재식별 방법을 크게 능가한다.
• 수동으로 레이블링된 소스 데이터를 사용하는 많은 비지도 도메인 적응 방법보다도 뛰어난 성능을 보이며, 오직 대상 도메인에서의 자기지도 학습(self-supervised learning)의 효과를 입증한다.
• Market-1501에서 군집 수를 s=13으로 설정할 경우 최고의 성능를 기록하며, 이는 레이블 품질과 수렴 안정성 사이의 균형을 잘 맞춘 결과이다.
• 융합 비율(mp)을 0.07로 설정할 경우 최적의 결과를 얻었으며, 이는 중간 수준의 융합 속도가 군집 품질을 유지하는 데 기여함을 시사한다.
• T-SNE 시각화 결과 HCT가 잘못된 융합(다른 정체성이 잘못으로 하나의 군집으로 묶임)과 잘못된 분리(정확히 매칭되어야 할 정체성이 서로 다른 군집에 나뉘어짐)를 모두 감소시킴을 확인하였다.
• 계층적 군집화와 하드-배치 트리플릿 손실의 조합은 클러스터링 품질과 mAP 향상으로부터 입증되듯이, 보다 밀도 있고 분류 능력이 뛰어난 특징 표현을 이끌어낸다.