[논문 리뷰] Nonlinear Local Metric Learning for Person Re-identification

Siyuan Huang, Jiwen Lu외 2명|arXiv (Cornell University)|2015. 11. 16.

Video Surveillance and Tracking Methods참고 문헌 22인용 수 22

한 줄 요약

이 논문은 비선형 국소 거리 학습(NLML) 방법을 제안하여, 카메라 뷰 간의 복잡한 비선형 특징 변동을 모델링하기 위해 딥 네ural 네트워크와 국소 거리 학습을 결합한다. 글로벌 및 로컬 네트워크 아키텍처를 통해 마진 기반 최적화로 다수의 비선형 변환을 학습함으로써, NLML는 VIPeR, GRID, CUHK 01 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 기존 거리 학습 방법에 비해 순위-1 정확도를 크게 향상시킨다.

ABSTRACT

Person re-identification aims at matching pedestrians observed from non-overlapping camera views. Feature descriptor and metric learning are two significant problems in person re-identification. A discriminative metric learning method should be capable of exploiting complex nonlinear transformations due to the large variations in feature space. In this paper, we propose a nonlinear local metric learning (NLML) method to improve the state-of-the-art performance of person re-identification on public datasets. Motivated by the fact that local metric learning has been introduced to handle the data which varies locally and deep neural network has presented outstanding capability in exploiting the nonlinearity of samples, we utilize the merits of both local metric learning and deep neural network to learn multiple sets of nonlinear transformations. By enforcing a margin between the distances of positive pedestrian image pairs and distances of negative pairs in the transformed feature subspace, discriminative information can be effectively exploited in the developed neural networks. Our experiments show that the proposed NLML method achieves the state-of-the-art results on the widely used VIPeR, GRID, and CUHK 01 datasets.

연구 동기 및 목표

• 비겹치는 카메라 간의 자세, 조도, 시점 변화로 인한 큰 클래스 내 변동성 문제를 해결하기 위해.
• 선형 또는 글로벌 거리 측정법이 포착하지 못하는 특징 공간 내의 복잡한 비선형 관계를 모델링하여 분류 능력 향상을 위한 거리 학습을 개선하기 위해.
• 로컬 거리 학습을 딥 네ural 네트워크와 통합하여 다양한 로컬 특징 영역에 대해 적응적으로 가중치를 설정함으로써 성능 향상을 위해.
• 대부분의 거리 학습 방법이 사용하는 대비되는 글로벌 및 로컬 비선형 변환을 동시에 학습하는 통합 프레임워크를 개발하기 위해.
• 아블레이션 및 비교 실험를 통해 로컬 및 비선형 거리 학습 구성 요소의 효과를 검증하기 위해.

제안 방법

• 이 방법은 하나의 글로벌 네트워크와 K개의 로컬 네트워크를 포함하는 하이브리드 딥 네트워크 아키텍처를 사용하며, 각 로컬 네트워크는 별도의 로컬 특징 클러스터를 담당한다.
• 각 이미지 쌍에 대해, 특징 유사도에 기반하여 각 로컬 네트워크의 기여도를 결정하는 비음수 가중치를 계산한다.
• 최종 거리 측정법은 글로벌 및 로컬 네트워크에서 유도된 K+1개의 거리 행렬의 가중 선형 조합으로 구성된다.
• 모델은 마진 기반 최적화를 통해 훈련되며, 동일한 사람에 대한 양성 쌍(positive pairs)은 더 작은 거리를, 다른 사람에 대한 음성 쌍(negative pairs)은 더 큰 거리를 유도하도록 한다.
• 경사 하강법을 사용하여 네트워크 파라미터를 최적화하며, 글로벌 및 로컬 기여도를 균형 있게 유지하기 위해 정규화를 적용한다.
• 입력으로 LOMO 및 ELF 특징을 사용하며, 효율성과 실험 간 일관성을 확보하기 위해 차원을 500으로 감소시킨다.

실험 결과

연구 질문

• RQ1 로컬 거리 학습과 딥 네트워크 기반 비선형 변환을 융합하면 도전적인 데이터셋에서 person re-identification 성능을 향상시킬 수 있는가?
• RQ2 로컬 및 비선형 거리 학습 구성 요소가 개별적으로나 함께 성능 향상에 기여하는 방식은 어떠한가?
• RQ3 다양한 데이터셋에서 안정적인 성능을 내기 위해 최적의 로컬 클러스터 수(K)와 글로벌 가중치(β)는 얼마인가?
• RQ4 제안된 NLML 방법은 표준 벤치마크에서 기존 최신 기술 수준의 거리 학습 접근법을 초월하는가?
• RQ5 자세, 시점, 해상도 변화 수준이 다른 데이터셋 간에 모델의 일반화 능력은 어떠한가?

주요 결과

• VIPeR 데이터셋에서 NLML는 LOMO 특징을 사용하여 순위-1 매칭률 66.77%를 달성하였으며, 이는 이전 최신 기술 수준 방법을 능가하는 성능이었다.
• GRID 데이터셋에서 NLML는 LOMO 특징을 사용하여 순위-1 정확도 20.56%를 기록하였으며, 저해상도이지만 매우 도전적인 데이터셋에서 강력한 성능을 보였다.
• GRID에서 ELF6 특징을 사용한 결과, 다른 거리 학습 방법에 비해 탁월한 성능을 기록하여, 다양한 특징 유형 간의 강인함을 확인하였다.
• CUHK 01 데이터셋에서 NLML는 경쟁력 있는 CMC 곡선 성능을 기록하였으며, 기준 거리 학습 접근법에 비해 일관된 향상을 보였다.
• 아블레이션 연구를 통해 로컬 거리 학습 및 비선형 변환 구성 요소가 모두 필수적임을 확인하였으며, NLML는 로컬 학습이 없는 NLML1 및 비선형 학습이 없는 NLML2보다 뛰어난 성능을 보였다.
• 최적의 성능는 VIPeR에서 K=4, GRID에서 K=3일 때 달성되었으며, β=1.5는 글로벌 및 로컬 기여도 간 최적의 균형을 제공하였다.