[논문 리뷰] Deep Transfer Learning for Person Re-identification

Mengyue Geng, Yaowei Wang외 2명|arXiv (Cornell University)|2016. 11. 16.

Video Surveillance and Tracking Methods참고 문헌 40인용 수 218

한 줄 요약

이 논문은 ImageNet-프리트레인된 두 손실 Siamese 네트워크, 두 단계 미세조정 전략, 그리고 공동 학습 기반의 비지도 전이 학습을 활용하는 사람 Re-ID를 위한 깊은 전이 학습 프레임워크를 제시하며, 여러 데이터셋에서 최첨단 Rank-1 결과를 달성한다.

ABSTRACT

Person re-identification (Re-ID) poses a unique challenge to deep learning: how to learn a deep model with millions of parameters on a small training set of few or no labels. In this paper, a number of deep transfer learning models are proposed to address the data sparsity problem. First, a deep network architecture is designed which differs from existing deep Re-ID models in that (a) it is more suitable for transferring representations learned from large image classification datasets, and (b) classification loss and verification loss are combined, each of which adopts a different dropout strategy. Second, a two-stepped fine-tuning strategy is developed to transfer knowledge from auxiliary datasets. Third, given an unlabelled Re-ID dataset, a novel unsupervised deep transfer learning model is developed based on co-training. The proposed models outperform the state-of-the-art deep Re-ID models by large margins: we achieve Rank-1 accuracy of 85.4\%, 83.7\% and 56.3\% on CUHK03, Market1501, and VIPeR respectively, whilst on VIPeR, our unsupervised model (45.1\%) beats most supervised models.

연구 동기 및 목표

• 작은 라벨링 데이터셋으로 인해 Re-ID를 데이터가 희소한 딥 러닝 문제로 다룬다.
• ImageNet에서 학습한 표현을 Re-ID 작업에 전이시키는 네트워크 아키텍처를 설계한다.
• 작업 간 및 도메인 차이를 해소하기 위한 학습 전략(두 단계 미세조정)을 개발한다.
• 레이블이 없는 Re-ID 데이터에 대한 비지도, 공동 학습 기반의 전이 학습 모델을 도입한다.

제안 방법

• 공유 베이스 네트워크(GoogLeNet)를 갖는 두 가지 가지 Siamese 네트워크를 사용한다.
• 전이 가능한 특징을 학습하기 위해 신원 분류 손실과 쌍 간 검증 손실을 결합한다.
• 손실별 드롭아웃을 적용한다: 분류에는 표준 드롭아웃, 검증에는 쌍 간 일관된 드롭아웃.
• 두 단계의 미세조정 전략을 제안한다(먼저 새로운 분류층을 미세조정하고, 그다음 모든 층을 미세조정).
• 그래프 정규화된 부분공간 학습 모델과 자기학습 심층 CNN을 결합한 비지도 도메인 적응 프레임워크를 공동 학습 기반으로 개발한다.

실험 결과

연구 질문

• RQ1 ImageNet에서 파생된 표현을 이중 손실 목적에 효과적으로 Re-ID로 전이시킬 수 있는가?
• RQ2 두 단계 미세조정 전략이 ImageNet에서 큰 Re-ID 데이터셋으로의 전이와 그다음 작은 데이터셋으로의 전이를 개선하는가?
• RQ3 공동 학습 기반의 비지도 도메인 적응이 Re-ID 벤치마크에서 감독 방법보다 우수한가?

주요 결과

• 제안된 모델은 CUHK03, Market1501, VIPeR에서 각각 Rank-1 정확도 85.4%, 83.7%, 56.3%를 달성한다.
• VIPeR에서 비지도 모델(45.1%)이 대부분의 감독 모델을 능가하며 강력한 비지도 전이 성능을 보여준다.
• 두 가지 다른 드롭아웃 전략을 갖춘 두 손실의 Siamese 아키텍처가 쌍 간 일관 드롭아웃으로 Re-ID 정확도를 약 3% 향상시킨다.
• 두 단계의 미세조정 전략이 일반적인 한 단계 미세조정보다 우수하며, 특히 대상 데이터가 작을 때 더 두드러진다.
• 5개 벤치마크 전반에 걸쳐 제안 모델이 최첨단 딥 Re-ID 모델을 크게 능가한다.