[논문 리뷰] Constrained Deep Metric Learning for Person Re-identification

Hailin Shi, Xiangyu Zhu외 4명|arXiv (Cornell University)|2015. 11. 24.

Video Surveillance and Tracking Methods참고 문헌 18인용 수 31

한 줄 요약

이 논문은 사람 재식별을 위한 제약을 가한 딥 메트릭 러닝을 제안하며, 일반화를 향상시키기 위해 가중치 제약을 적용한 마할라노비스 메트릭과 극단적인 내부 클래스 쌍으로 인한 과적합을 완화하기 위한 새로운 중간 급 positive 마이닝 전략을 도입한다. 이 방법은 CUHK03, CUHK01, VIPeR에서 최고 성능을 기록하였으며, CUHK01에서는 순위-1 정확도가 87%이며 VIPeR에서는 40.91%를 기록하였다.

ABSTRACT

Person re-identification aims to re-identify the probe image from a given set of images under different camera views. It is challenging due to large variations of pose, illumination, occlusion and camera view. Since the convolutional neural networks (CNN) have excellent capability of feature extraction, certain deep learning methods have been recently applied in person re-identification. However, in person re-identification, the deep networks often suffer from the over-fitting problem. In this paper, we propose a novel CNN-based method to learn a discriminative metric with good robustness to the over-fitting problem in person re-identification. Firstly, a novel deep architecture is built where the Mahalanobis metric is learned with a weight constraint. This weight constraint is used to regularize the learning, so that the learned metric has a better generalization ability. Secondly, we find that the selection of intra-class sample pairs is crucial for learning but has received little attention. To cope with the large intra-class variations in pedestrian images, we propose a novel training strategy named moderate positive mining to prevent the training process from over-fitting to the extreme samples in intra-class pairs. Experiments show that our approach significantly outperforms state-of-the-art methods on several benchmarks of person re-identification.

연구 동기 및 목표

• 제한된 훈련 데이터로 인해 딥 메트릭 러닝에서 과적합 문제가 발생하는 문제를 해결한다.
• 마할라노비스 메트릭 레이어에 가중치 제약을 통합하여 딥 메트릭 러닝의 일반화 능력을 향상시킨다.
• 훈련 과정에서 양성 샘플 선택의 역할을 재평가하며, 극단적인 내부 클래스 쌍이 일반화 능력을 해칠 수 있음을 주장한다.
• 대표적인 양성 쌍을 선택하고 외곽치에 과적합되는 것을 방지하기 위해 새로운 훈련 전략인 중간 급 positive 마이닝을 개발한다.
• 다양한 표준 사람 재식별 벤치마크에서 최고 성능을 달성한다.

제안 방법

• CNN 기반 딥 네트워크에 마할라노비스 메트릭 레이어를 통합하고, 일반화를 향상시키기 위해 메트릭 가중치에 가중치 제약을 적용한다.
• 역전파를 사용하여 특징 추출기와 메트릭 레이어를 동시에 훈련시켜 분류 가능한 특징과 강건한 메트릭을 종합적으로 학습한다.
• 중간 급 positive 마이닝을 제안한다: 극단적인 양성 예제에 과적합되지 않도록 중간 정도의 유사도를 가진 내부 클래스 쌍을 선택하는 동적 샘플링 전략이다.
• 중간 급 positive 마이닝을 하드 음성 마이닝과 결합하여 훈련 손실를 균형 잡고 모델의 강건성을 향상시킨다.
• Market1501과 CUHK03에서 사전 훈련을 수행한 후, 타겟 데이터셋(CUHK01, VIPeR)에서 미세조정을 통해 특징 이동 능력을 향상시킨다.
• VIPeR에서 훈련 중 무작위 이동을 통한 데이터 증강을 적용하여 훈련 다양성을 증가시킨다.

실험 결과

연구 질문

• RQ1 마할라노비스 메트릭 레이어에 가중치 제약을 적용할 경우 사람 재식별에서 일반화 능력에 어떤 영향을 미치는가?
• RQ2 내부 클래스 양성 쌍의 선택이 모델의 과적합과 성능에 어떤 영향을 미치는가?
• RQ3 중간 급 positive 마이닝 전략이 재-ID를 위한 딥 메트릭 러닝에서 기존의 하드 positive 마이닝을 능가할 수 있는가?
• RQ4 CNN 특징와 제약을 가한 마할라노비스 메트릭의 공동 학습이 표준 벤치마크에서 성능 향상에 기여하는가?
• RQ5 작은 VIPeR 데이터셋과 같은 저자원 환경에서 이 방법은 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 방법은 CUHK01에서 순위-1 식별 정확도 87%를 기록하였으며, 이는 이전 최고 성능 방법인 IDLA(65%)를 크게 능가한다.
• CUHK03에서만 사전 훈련하고 CUHK01에서 미세조정한 경우에도 82.3%의 순위-1 정확도를 달성하여, 동일한 조건에서 IDLA를 초월한다.
• 도전적인 VIPeR 데이터셋에서는 순위-1 식별 정확도 40.91%를 기록하였으며, 보고된 딥 러닝 방법 중에서 가장 높은 성능이다.
• 절단 분석 결과, 가중치 제약이 일반화 능력을 크게 향상시키며, λ = 10⁻⁴에서 최적 성능를 기록한다.
• 실패 분석 결과, 진짜 양성 쌍과 색상 유사도가 높은 음성 쌍 간의 색상 불일치가 주요 과제임을 밝혀내었으며, 특히 어두운 또는 저대비 이미지에서 두드러진다.
• 중간 급 positive 마이닝 전략은 극단적인 내부 클래스 쌍을 피하여 과적합을 줄이고 일반화 능력을 향상시켜 성능 향상에 기여한다.