[논문 리뷰] Kernel Cross-View Collaborative Representation based Classification for Person Re-Identification

Raphael Prates, William Robson Schwartz|arXiv (Cornell University)|2016. 11. 21.

Video Surveillance and Tracking Methods인용 수 4

한 줄 요약

이 논문은 비선형 다중 작업 프레임워크인 커널 크로스뷰 공동 표현 기반 분류(Kernel X-CRC)를 제안한다. 이는 서로 다른 카메라에서의 프로브 및 갤러리 이미지에 대해 공동 표현 계수를 동시에 최적화하며, 내부 카메라 표현력과 간섭 카메라 유사성 간의 균형을 맞춘다. 이는 PRID450S와 GRID에서 최신 기술 수준의 랭크-1 매칭 성능을 달성했으며, VIPeR에서는 두 번째로 높은 성능을 기록했다.

ABSTRACT

Person re-identification aims at the maintenance of a global identity as a person moves among non-overlapping surveillance cameras. It is a hard task due to different illumination conditions, viewpoints and the small number of annotated individuals from each pair of cameras (small-sample-size problem). Collaborative Representation based Classification (CRC) has been employed successfully to address the small-sample-size problem in computer vision. However, the original CRC formulation is not well-suited for person re-identification since it does not consider that probe and gallery samples are from different cameras. Furthermore, it is a linear model, while appearance changes caused by different camera conditions indicate a strong nonlinear transition between cameras. To overcome such limitations, we propose the Kernel Cross-View Collaborative Representation based Classification (Kernel X-CRC) that represents probe and gallery images by balancing representativeness and similarity nonlinearly. It assumes that a probe and its corresponding gallery image are represented with similar coding vectors using individuals from the training set. Experimental results demonstrate that our assumption is true when using a high-dimensional feature vector and becomes more compelling when dealing with a low-dimensional and discriminative representation computed using a common subspace learning method. We achieve state-of-the-art for rank-1 matching rates in two person re-identification datasets (PRID450S and GRID) and the second best results on VIPeR and CUHK01 datasets.

연구 동기 및 목표

• 한 정체성당 훈련 샘플 수가 적어 모델 일반화가 어려운 개인 재식별 문제를 해결한다.
• 카메라 전환으로 인한 비선형 외관 변화를 다루는 데에 한계가 있는 선형 공동 표현 기반 분류(CRC)의 한계를 극복한다.
• 다양한 카메라 간에 프로브 및 갤러리 표현을 동시에 모델링하여 분류적 크로스뷰 정보를 공동 표현에 통합한다.
• 각 카메라 내 표현력과 해당 프로브 및 갤러리 코드 벡터 간 유사성 간의 균형을 맞춰 매칭 정확도를 향상시킨다.
• 다양한 카메라 뷰 간의 복잡한 비선형 데이터 전이를 포착할 수 있는 비선형 커널 기반 프레임워크를 개발한다.

제안 방법

• 커널화된 특징를 사용하여 프로브 및 갤러리 이미지에 대한 공동 표현 계수를 동시에 계산하는 다중 작업 최적화 문제를 수립한다.
• 입력 특징를 고차원 공간으로 매핑하기 위해 커널 함수를 사용하여 프로브 및 갤러리 이미지 간의 비선형 관계를 모델링한다.
• 다른 카메라에서 촬영한 동일 정체성의 코드 벡터 간 유사성을 확보하기 위해, 커널 공간에서의 계수 값이 유사하도록 제약 조건을 설정한다.
• Kernel X-CRC 적용 이전에 차원을 줄이고 분류 능력을 향상시키기 위해 공통 부분공간 학습 방법(예: PCA 또는 LDA)을 적용한다.
• 갤러리의 코드 표현을 사용하여 프로브 이미지의 재구성 오차를 매칭 점수로 사용하며, 코드 공간 내에서 커널화된 유사성을 적용한다.
• 소수 샘플 조건 하에서도 안정성과 강건성을 확보하기 위해 티코노프 정규화를 사용하여 표현을 최적화한다.

실험 결과

연구 질문

• RQ1 어떻게 크로스뷰 분류적 정보를 개인 재식별을 위한 공동 표현 프레임워크에 효과적으로 통합할 수 있는가?
• RQ2 복잡한 카메라 전이 효과를 포착할 수 있는 비선형 표현 모델이 매칭 성능 향상에 기여할 수 있는가?
• RQ3 다른 카메라에서 촬영한 동일 정체성의 코드 벡터 간 유사성을 강제로 부여하면 재식별 정확도가 향상되는가?
• RQ4 표준 Re-ID 벤치마크에서 Kernel X-CRC의 성능은 메트릭 학습 및 딥 러닝 기반 베이스라인과 비교해 어떻게 되는가?
• RQ5 저차원 분류적 부분공간에서 작업할 경우, 공동 표현의 강건성과 정확도가 향상되는가?

주요 결과

• PRID450S 데이터셋에서 Kernel X-CRC는 랭크-1 매칭 성능 68.8%를 기록하여 표 6에 나열된 모든 다른 방법보다 높은 성능을 달성했다.
• GRID 데이터셋에서 Kernel X-CRC는 랭크-1 정확도 26.6%를 기록하여 표 8에 기재된 모든 보고된 방법 중에서 가장 높은 성능을 기록했으며, 간섭자에 대한 강건성을 입증했다.
• CUHK01 데이터셋에서 Kernel X-CRC는 랭크-1 정확도 61.2%를 기록하여 모든 방법 중 두 번째로 높은 성능을 기록했으며, 딥 러닝 기반의 WARCA 모델에 이어지는 성능이었다.
• 이 방법은 PRID450S와 GRID에서 최신 기술 수준의 성능을 달성했으며, VIPeR와 CUHK01에서도 상위 두 개 이내의 성능를 유지하여 강력한 일반화 능력을 보였다.
• 성능 향상은 특히 저차원 분류적 부분공간에서 가장 두드러졌으며, 부분공간 학습과 커널화된 공동 표현을 조합함으로써 유의미한 이점이 있음을 확인했다.
• 기존의 CRC 및 SRC는 메트릭 학습 기반 베이스라인(KISSME 등)에 비해 성능이 열등한 편이었으며, 특히 크로스카메라 시나리오에서 두드러진 성능 열등성이 있었다.