[논문 리뷰] Embedding Deep Metric for Person Re-identication A Study Against Large Variations

Hailin Shi, Yang Yang외 5명|arXiv (Cornell University)|2016. 11. 01.

Video Surveillance and Tracking Methods참고 문헌 15인용 수 69

한 줄 요약

이 논문은 대규모 내부 클래스 변동성 하에서 사람 재식별을 위한 딥 메트릭 학습을 향상시키기 위해 새로운 중간 긍정 마이닝 전략과 메트릭 가중치 제약을 제안한다. 국소적 특징 이웃 내에서 적응적으로 중간 긍정 쌍을 선택하고 메트릭 레이어 가중치를 정규화함으로써, CUHK03, CUHK01에서 최신 기술 수준(SOTA) 성능을 달성하고 VIPeR에서도 경쟁적인 성능을 보이며, CUHK01에서 69%의 랭크-1 정확도와 VIPeR에서 40.91%의 정확도를 기록한다.

ABSTRACT

Person re-identification is challenging due to the large variations of pose, illumination, occlusion and camera view. Owing to these variations, the pedestrian data is distributed as highly-curved manifolds in the feature space, despite the current convolutional neural networks (CNN)'s capability of feature extraction. However, the distribution is unknown, so it is difficult to use the geodesic distance when comparing two samples. In practice, the current deep embedding methods use the Euclidean distance for the training and test. On the other hand, the manifold learning methods suggest to use the Euclidean distance in the local range, combining with the graphical relationship between samples, for approximating the geodesic distance. From this point of view, selecting suitable positive i.e. intra-class) training samples within a local range is critical for training the CNN embedding, especially when the data has large intra-class variations. In this paper, we propose a novel moderate positive sample mining method to train robust CNN for person re-identification, dealing with the problem of large variation. In addition, we improve the learning by a metric weight constraint, so that the learned metric has a better generalization ability. Experiments show that these two strategies are effective in learning robust deep metrics for person re-identification, and accordingly our deep model significantly outperforms the state-of-the-art methods on several benchmarks of person re-identification. Therefore, the study presented in this paper may be useful in inspiring new designs of deep models for person re-identification.

연구 동기 및 목표

• 자세, 조명, 시점 변화로 인한 높은 내부 클래스 변동성으로 인해 발생하는 사람 재식별 문제에 대응한다.
• 기존 딥 러닝 방법들이 고도로 굴곡진 특징 다양체에서 긍정 학습 샘플을 신중히 선택하지 못한다는 점을 인지한다.
• 내재된 데이터 구조를 더 잘 포착하기 위해 중간 긍정 마이닝 전략을 도입함으로써 딥 메트릭 학습을 향상시킨다.
• 메트릭 레이어에 대한 새로운 가중치 제약을 통해 일반화 능력을 향상시키고 과적합을 줄인다.
• 높은 변동성에도 불구하고 주요 사람 재식별 벤치마크에서 최신 기술 수준 성능을 달성한다.

제안 방법

• 특징 공간 내 국소 이웃에서 적응적으로 긍정 쌍을 선택하는 중간 긍정 마이닝 전략을 제안하여 극단적인 내부 클래스 변동성을 피한다.
• 국소 유클리드 거리와 샘플 간 그래픽적 관계를 결합하여 굴곡진 다양체 상의 지오데식 거리를 근사한다.
• 메트릭 학습 레이어의 정규화를 위한 메트릭 가중치 제약을 도입하여 일반화 능력을 향상시키고 과적합을 줄인다.
• 새로 선별된 중간 긍정 쌍을 사용하여 트리플릿 손실을 통해 CNN을 훈련시켜 특징의 분류 능력을 향상시킨다.
• 다양한 데이터셋(예: CUHK03 → CUHK01)에서 미세조정하고, 랜덤 이동과 같은 데이터 증강 기법을 적용하여 강건성을 향상시킨다.
• 대규모 데이터셋에서 사전 훈련된 특징과 전이 학습을 활용하여 VIPeR와 같은 작은 벤치마크에서의 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 대규모 내부 클래스 변동성 하에서 긍정 학습 샘플의 선택이 사람 재식별을 위한 딥 메트릭 학습에 어떤 영향을 미치는가?
• RQ2 고도로 굴곡진 특징 다양체에서 국소 유클리드 거리와 그래픽적 관계를 조합하여 지오데식 거리를 효과적으로 근사할 수 있는가?
• RQ3 극단적이지 않은 긍정 쌍을 선택하는 중간 긍정 마이닝 전략이 기존의 하드 음성 마이닝 대비 모델의 강건성과 정확도를 향상시키는가?
• RQ4 메트릭 레이어에 대한 가중치 제약이 과적합을 줄이고 일반화 능력을 향상시키는 데 어느 정도 기여하는가?
• RQ5 제안된 방법이 CUHK03, CUHK01, VIPeR와 같은 표준 벤치마크에서 최신 기술 수준 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 CUHK01 데이터셋에서 랭크-1 식별 정확도 69%를 달성하여 이전 최신 기술 수준 방법들을 초월한다.
• Market1501에서 미세조정하고 CUHK03에서 훈련한 모델은 CUHK01에서 87%의 랭크-1 정확도를 기록하여 더 큰 훈련 데이터의 이점을 입증한다.
• 도전적인 VIPeR 데이터셋에서는 랭크-1 식별 정확도 40.91%를 기록하여 딥 러닝 기반 접근법 중에서 가장 높은 성능을 달성한다.
• 실제 감시 환경에서 흔히 발생하는 진짜 긍정 쌍과 유사 색상의 음성 쌍 간의 색상 일관성 문제로 인한 실패 케이스를 크게 줄였다.
• 제거 분석 결과 중간 긍정 마이닝과 가중치 제약이 성능 향상에 독립적으로 기여하며, 특히 내부 클래스 분산 감소에 기여함을 확인했다.
• 시각화 결과 학습된 필터가 색상 특징에 집중하고 있으며, 중간 긍정 쌍을 사용할 경우 조명 및 색상 변동성에 대해 강건함을 입증했다.