[논문 리뷰] Unsupervised Person Re-identification: Clustering and Fine-tuning

Hehe Fan, Liang Zheng외 1명|arXiv (Cornell University)|2017. 05. 30.

Video Surveillance and Tracking Methods인용 수 150

한 줄 요약

이 논문은 Progressive Unsupervised Learning (PUL)을 제안한다. 이는 self-paced 샘플 선택을 통해 클러스터링과 CNN 미세조정을 번갈아 수행하며 최소한의 라벨로 딥 re-ID 특징을 학습하고, 교차 데이터셋에서 베이스라인 및 다른 비지도 방법에 비해 개선을 보여준다.

ABSTRACT

The superiority of deeply learned pedestrian representations has been reported in very recent literature of person re-identification (re-ID). In this paper, we consider the more pragmatic issue of learning a deep feature with no or only a few labels. We propose a progressive unsupervised learning (PUL) method to transfer pretrained deep representations to unseen domains. Our method is easy to implement and can be viewed as an effective baseline for unsupervised re-ID feature learning. Specifically, PUL iterates between 1) pedestrian clustering and 2) fine-tuning of the convolutional neural network (CNN) to improve the original model trained on the irrelevant labeled dataset. Since the clustering results can be very noisy, we add a selection operation between the clustering and fine-tuning. At the beginning when the model is weak, CNN is fine-tuned on a small amount of reliable examples which locate near to cluster centroids in the feature space. As the model becomes stronger in subsequent iterations, more images are being adaptively selected as CNN training samples. Progressively, pedestrian clustering and the CNN model are improved simultaneously until algorithm convergence. This process is naturally formulated as self-paced learning. We then point out promising directions that may lead to further improvement. Extensive experiments on three large-scale re-ID datasets demonstrate that PUL outputs discriminative features that improve the re-ID accuracy.

연구 동기 및 목표

• 새로운 배포 환경에서 person re-ID의 라벨링 데이터 부족 문제를 해결한다.
• 사전 학습된 표현을 비라벨 도메인에 적응시키는 간단하고 엔드-투-엔드 unsupervised 학습 프레임워크를 제안한다.
• 학습 안정화를 위해 clustering과 self-paced (easy-to-hard) 샘플 선택을 통합한다.
• 교차 데이터셋 re-ID 성능을 평가하고 제한된 라벨을 갖는 반지도 학습 확장을 탐구한다.

제안 방법

• ImageNet에서 사전 학습된 CNN을 외부 라벨 데이터셋으로 초기화한다.
• 비라벨 세트에서 특징을 반복적으로 추출하고 k-means 클러스터링을 수행하며 cluster centroids 근처의 신뢰도 임계값 lambda를 가진 self-paced 기준을 사용해 신뢰할 수 있는 샘플을 선택한다.
• 선택된 신뢰 가능한 샘플만으로 CNN을 분류(softmax) 손실로 미세조정한다(또는 필요시 대안 손실인 contrastive/트립렛 등을 사용).
• 수렴될 때까지 클러스터링, 샘플 선택, 미세조정 단계를 반복하여 클러스터링과 모델의 동시 개선을 가능하게 한다.
• 반복 중 신뢰 가능한 부분집합에 소량의 라벨 데이터를 주입해 반지도 학습으로 확장하는 것을 선택적으로 적용한다.

실험 결과

연구 질문

• RQ1 비지도 프레임워크가 서로 다른 데이터셋에서 사람 re-ID를 위한 판별적인 딥 피처를 학습할 수 있는가?
• RQ2 신뢰할 수 있는 샘플 선택(self-paced learning)이 모든 클러스터링 결과를 사용하는 것과 비교해 안정성과 정확도를 향상시키는가?
• RQ3 주요 하이퍼파라미터(신뢰 임계값 lambda와 클러스터 수 K)가 성능과 수렴에 어떤 영향을 미치는가?
• RQ4 PUL이 비딥 비지도 방법과 어떻게 비교되며, 반지도 학습 설정에서 어떤 이득이 가능한가?

주요 결과

• PUL은 다른 데이터셋에서 미세조정된 베이스라인 CNN보다 교차 데이터셋 re-ID 정확도를 향상시킨다.
• Duke를 초기화로 사용하고 Market-1501를 테스트 세트로 사용할 때, PUL은 baseline 대비 rank-1 정확도에서 +8.6%, mAP에서 +5.9%의 향상을 달성한다.
• 샘플 선택이 없으면 PUL의 개선 효과가 거의 없거나 없으며, 신뢰 가능한 샘플 선택의 필요성을 강조한다.
• 반지도를 확장에서 라벨 데이터가 늘어나면 상당한 이득이 나타나며(예: 25개 또는 50개의 라벨 ID를 사용할 때 비지도 기반 대비 개선이 데이터셋 전반에서 관찰된다).
• PUL은 선도적인 비지도 방법(UMDL)을 큰 차이로 능가하며, 반지도 설정에서 이득이 확대된다(예: Market-1501에서 50 IDs로 rank-1에서 최대 +15.3%).
• 소거 연구는 강력한 성능 달성에 샘플 선택의 결정적 역할을 보여준다.]
• table_headers:[]
• table_rows:[]