[논문 리뷰] Hierarchical Invariant Feature Learning with Marginalization for Person Re-Identification

Rahul Rama Varior, Gang Wang|arXiv (Cornell University)|2015. 11. 30.

Video Surveillance and Tracking Methods참고 문헌 41인용 수 3

한 줄 요약

이 논문은 레이블이 부여된 이미지 쌍을 활용하여 커널 공간에서 자세 및 조도에 불변인 특징을 학습하는 계층적 불변 특징 학습 프레임워크를 제안한다. SVM 거리 측정 학습에 마진화를 통합함으로써, 명시적인 데이터 증강 없이도 VIPeR, CUHK01, CAVIAR4REID 및 iLIDS에서 최신 기술 수준의 성능을 달성하며, 소규모 데이터셋에서의 일반화 능력을 향상시킨다.

ABSTRACT

This paper addresses the problem of matching pedestrians across multiple camera views, known as person re-identification. Variations in lighting conditions, environment and pose changes across camera views make re-identification a challenging problem. Previous methods address these challenges by designing specific features or by learning a distance function. We propose a hierarchical feature learning framework that learns invariant representations from labeled image pairs. A mapping is learned such that the extracted features are invariant for images belonging to same individual across views. To learn robust representations and to achieve better generalization to unseen data, the system has to be trained with a large amount of data. Critically, most of the person re-identification datasets are small. Manually augmenting the dataset by partial corruption of input data introduces additional computational burden as it requires several training epochs to converge. We propose a hierarchical network which incorporates a marginalization technique that can reap the benefits of training on large datasets without explicit augmentation. We compare our approach with several baseline algorithms as well as popular linear and non-linear metric learning algorithms and demonstrate improved performance on challenging publicly available datasets, VIPeR, CUHK01, CAVIAR4REID and iLIDS. Our approach also achieves the stateof-the-art results on these datasets.

연구 동기 및 목표

• 다양한 조도, 자세 및 환경 조건에서 사람 재식별에 도전하는 문제를 해결한다.
• 사람 재식별에서 레이블이 부여된 소규모 데이터셋의 한계를 극복하여 제한된 데이터로부터 효과적인 일반화를 가능하게 한다.
• 레이블이 부여된 이미지 쌍을 사용하여 카메라 간 시야에서의 불변 표현을 포착하는 특징 학습 프레임워크를 개발한다.
• 마진화를 거리 측정 학습에 통합하여, 명시적인 손상된 데이터 증강 없이도 대규모 증강 데이터셋에서 학습하는 것과 유사한 효과를 얻는다.
• 개선된 강건성과 일반화 능력을 갖춘 표준 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 비선형 커널 함수를 사용하여 이미지에서 局부 특징을 추출하고 이를 커널 공간으로 매핑한다.
• 일치하는 이미지 쌍의 대응 부분에 대해 불변성을 강제하기 위해 커널 공간에서 선형 변환을 학습한다.
• 마진화된 매핑된 局부 특징들을 연결하여 전역 이미지 표현을 구성한다.
• 노이즈 또는 손상된 입력을 암시적으로 처리하기 위해 마진화를 포함한 SVM 거리 측정 학습(SVMML)을 적응시킨다.
• 거리 측정 학습 프레임워크에 마진화된 특징을 입력하여 테스트 데이터에서의 분류 성능을 향상시킨다.
• 레이블이 부여된 이미지 쌍을 사용하여 계층적 네트워크를 엔드 투 엔드로 훈련하여 개인 간 유사성과 개인 내 불변성을 최적화한다.

실험 결과

연구 질문

• RQ1 계층적 특징 학습 프레임워크는 카메라 시야 간에 효과적으로 불변 표현을 학습할 수 있는가?
• RQ2 학습 데이터가 제한적일 경우 거리 측정 학습에서의 마진화가 일반화 능력을 어떻게 향상시키는가?
• RQ3 커널 기반 특징 매핑과 마진화된 거리 측정 학습을 조합하면 기존 최신 기술 수준의 방법보다 우수한 성능을 내는가?
• RQ4 제안된 프레임워크는 자세, 조도 및 환경 변화에 대해 얼마나 감소된 민감도를 보이는가?
• RQ5 마진화 기법은 계산 비용을 증가시키지 않고도 데이터 증강의 이점을 시뮬레이션할 수 있는가?

주요 결과

• 제안된 방법은 VIPeR 데이터셋에서 Rank-1 정확도 47.9%를 달성하여 이전의 모든 최신 기술 수준 방법을 초월한다.
• CAVIAR4REID 데이터셋에서 kLFDA와 조합했을 때 45.1%의 Rank-1 정확도를 기록하여 MFA를 제외한 모든 방법보다 뛰어나다.
• iLIDS 데이터셋에서 kLFDA와 조합했을 때 47.7%의 Rank-1 정확도를 기록하여 높은 순위에서 두 번째로 높은 성능을 보였다.
• CUHK01 데이터셋에서 kLFDA와 조합했을 때 39.5%의 Rank-1 정확도를 기록하여 모든 기준 모델 및 기존 방법을 압도했다.
• 마진화 기법은 특히 소규모 데이터셋에서 일반화 능력을 크게 향상시켜 암시적인 데이터 증강 효과를 제공한다.
• 모든 벤치마크 데이터셋에서 일관된 성능 향상으로 인해 자세 및 조도 변화에 대해 강력한 강건성을 보였다.