[논문 리뷰] Learning a Discriminative Null Space for Person Re-identification

Li Zhang, Tao Xiang외 1명|arXiv (Cornell University)|2016. 03. 07.

Video Surveillance and Tracking Methods참고 문헌 24인용 수 90

한 줄 요약

이 논문은 사람 재식별(re-ID)에서 고차원 특징과 제한된 학습 샘플로 인해 거리 학습 성능이 떨어지는 소표본 크기(SSS) 문제를 극복하기 위해 분류적 영공간을 학습하는 방법을 제안한다. 동일한 사람의 이미지를 폐쇄형, 파rameter-free 영공간 내에서 한 점으로 압축함으로써, 이론적으로는 클래스 간 분離를 극대화하고, 다섯 개의 벤치마크에서 최신 기준(SOTA) 성능을 달성하며, 기존 방법들보다 뚜렷한 성능 향상을 보인다.

ABSTRACT

Most existing person re-identification (re-id) methods focus on learning the optimal distance metrics across camera views. Typically a person's appearance is represented using features of thousands of dimensions, whilst only hundreds of training samples are available due to the difficulties in collecting matched training images. With the number of training samples much smaller than the feature dimension, the existing methods thus face the classic small sample size (SSS) problem and have to resort to dimensionality reduction techniques and/or matrix regularisation, which lead to loss of discriminative power. In this work, we propose to overcome the SSS problem in re-id distance metric learning by matching people in a discriminative null space of the training data. In this null space, images of the same person are collapsed into a single point thus minimising the within-class scatter to the extreme and maximising the relative between-class separation simultaneously. Importantly, it has a fixed dimension, a closed-form solution and is very efficient to compute. Extensive experiments carried out on five person re-identification benchmarks including VIPeR, PRID2011, CUHK01, CUHK03 and Market1501 show that such a simple approach beats the state-of-the-art alternatives, often by a big margin.

연구 동기 및 목표

• 특징 차원이 학습 샘플 수보다 훨씬 많은 사람 재식별에서 소표본 크기(SSS) 문제를 해결한다.
• SSS로 인해 차원 축소나 정규화에 의존하는 기존 거리 학습 방법의 열악한 성능을 개선한다.
• 내부 클래스 산산을 최소화하고 클래스 간 분離를 극대화하기 위해 직접적으로 분류적 영공간을 학습하는 방법을 개발한다.
• 풍부한 비라벨 데이터를 활용하여 반감독 학습으로 확장함으로써 SSS 문제를 더욱 효과적으로 완화한다.
• 완전한 및 반감독 설정 모두에서 여러 표준 re-ID 벤치마크에서 이 방법의 효과성과 효율성을 입증한다.

제안 방법

• 동일한 사람의 이미지를 단일 점으로 압축하는 분류적 영공간으로 훈련 데이터를 투영하기 위해 영공간 포일-샘논 변환(NFST)을 제안한다.
• 영공간 변환에 대해 폐쇄형 해를 사용하여 하이퍼파ram터 튜닝이나 반복 최적화가 필요 없도록 한다.
• 영공간의 차원을 고정된 최소값으로 유지함으로써 고차원 특징에 대해 효율적이고 강건한 계산을 가능하게 한다.
• 비선형 외관 변화를 다루기 위해 NFST의 커널 버전을 도입한다.
• 자기 훈련을 활용한 반감독 변형을 개발하여, 라벨이 부족한 경우에도 성능 향상을 이룬다.
• 딥 특징 표현(예: LOMO)과 융합 전략을 영공간 방법과 통합하여 매칭 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 소표본 크기 문제를 극복하기 위해 효과적으로 분류적 영공간을 학습할 수 있는가?
• RQ2 기존의 거리 학습 및 차원 축소 기법과 비교할 때 제안된 영공간 방법은 정확도와 효율성 측면에서 어떻게 성능을 내는가?
• RQ3 반감독 학습을 통해 영공간에서 비라벨 데이터를 얼마나 효과적으로 활용할 수 있는가? 특히, 저샘플 재식별 환경에서 성능 향상 정도는 어느 정도인가?
• RQ4 영공간 방법의 폐쇄형, 파rameter-free 특성은 기존 접근법에 비해 더 나은 일반화 및 강건성을 보이는가?
• RQ5 이 방법은 Market1501, VIPeR, PRID2011를 포함한 다양한 대규모 re-ID 벤치마크에서 최신 기준 성능을 달성할 수 있는가?

주요 결과

• 단일 쿼리 설정에서 Market1501에서 61.02% Rank-1 및 35.68% mAP 성능을 달성하며, 동일한 LOMO 특징을 사용한 모든 이전 방법보다 뛰어난 성능을 보였다.
• 반감독 설정에서 VIPeR에서 41.01% Rank-1 및 69.81% Rank-5 성능을 기록했으며, SSCDL 및 IterativeLap과 같은 최신 기준 방법들을 크게 능가했다.
• 라벨이 1/3 밖에 없는 반감독 설정에서 PRID2011에서 성능 저하가 부드럽게 발생(24.70% Rank-1)했고, kLFDA 및 XQDA와 같은 다른 방법들은 급격한 성능 저하를 보였다.
• 학습 시 계산이 매우 효율적이었으며, Market1501에서 393.1초의 시간이 소요되어 XQDA(3233.8초) 및 MFA(437.8초)를 능가했고, 실시간 테스트에도 적합했다.
• 영공간 내에서 여러 특징의 융합은 Market1501의 멀티쿼리 평가에서 67.96% Rank-1 및 41.89% mAP 성능으로 성능 향상을 이뤘다.
• 커널 버전의 영공간 방법은 성능을 추가로 향상시켜 비선형 외관 변화를 효과적으로 모델링할 수 있음을 입증했다.