[논문 리뷰] A Novel Visual Word Co-occurrence Model for Person Re-identification

Ziming Zhang, Yuting Chen외 1명|arXiv (Cornell University)|2014. 10. 24.

Video Surveillance and Tracking Methods참고 문헌 14인용 수 4

한 줄 요약

이 논문은 시각적 단어 공시 발생 모델을 제안하여 카메라 뷰 간의 외관 변형을 코드워드 공시 발생 통계를 통해 인코딩한다. 비지도 코드북을 통해 이미지를 시각적 단어로 매핑하고, 커널 평균 임베딩을 통해 공간적으로 민감한 공시 발생 패턴을 모델링함으로써, VIPeR 및 CUHK Campus 데이터셋에서 각각 83.86%와 85.49%의 랭크-15 CMC 점수를 기록하며 최신 기술을 초월한다. 이는 이전 방법보다 각각 10.44%와 22.27% 향상된 성능이다.

ABSTRACT

Person re-identification aims to maintain the identity of an individual in diverse locations through different non-overlapping camera views. The problem is fundamentally challenging due to appearance variations resulting from differing poses, illumination and configurations of camera views. To deal with these difficulties, we propose a novel visual word co-occurrence model. We first map each pixel of an image to a visual word using a codebook, which is learned in an unsupervised manner. The appearance transformation between camera views is encoded by a co-occurrence matrix of visual word joint distributions in probe and gallery images. Our appearance model naturally accounts for spatial similarities and variations caused by pose, illumination & configuration change across camera views. Linear SVMs are then trained as classifiers using these co-occurrence descriptors. On the VIPeR and CUHK Campus benchmark datasets, our method achieves 83.86% and 85.49% at rank-15 on the Cumulative Match Characteristic (CMC) curves, and beats the state-of-the-art results by 10.44% and 22.27%.

연구 동기 및 목표

• 자세, 조도, 카메라 설정의 차이로 인한 심한 외관 변형 상황에서의 사람 재식별 문제를 해결하기 위해.
• 겹치지 않는 카메라 뷰 간의 외관 변형을 불변 특징이 아닌 시각적 단어의 통계적 공시 발생 패턴으로 모델링하기 위해.
• 프로브 및 갤러리 이미지 간의 시각적 코드워드의 공간적으로 민감한 공시 발생 통계를 활용하여 매칭 정확도를 향상시키기 위해.
• VIPeR 및 CUHK Campus와 같은 벤치마크 데이터셋에서 기존 최신 기술 방법을 능가하기 위해.

제안 방법

• 학습 데이터로부터 학습된 비지도 코드북을 사용하여 이미지를 시각적 단어로 인코딩한다.
• 잠재 변수 조건부 밀도를 커널로 사용하는 커널 평균 임베딩을 통해 각 시각적 단어의 공간 분포를 커널 공간에 임베딩한다.
• 프로브 및 갤러리 이미지 간의 시각적 단어 연합 분포의 공시 발생 행렬을 구성하여 카메라 뷰 간의 외관 변형을 모델링한다.
• 결과로 생성된 기술 특징는 분류 및 재식별을 위한 선형 SVM을 학습하는 데 사용된다.
• 학습 중에 학습된 시그마 파rameter를 가진 공간 커널을 사용하여 공간 유사도를 통합함으로써 자세 및 조도 변화에 대한 강건성을 향상시킨다.
• 학습 과정에서 학습된 가중치 행렬은 분류 가능한 공시 발생 패턴을 포착하며, 높은 가중치는 통계적으로 유의미한 양성 또는 음성 공시 발생 관계를 나타낸다.

실험 결과

연구 질문

• RQ1 다른 카메라 뷰 간의 시각적 코드워드 공시 발생 패턴이 사람 재식별을 위한 외관 변형을 신뢰성 있게 포착할 수 있는가?
• RQ2 시각적 단어의 공간 분포를 모델링함으로써 자세, 조도 및 설정 변화에 대한 강건성이 어떻게 향상되는가?
• RQ3 시각적 단어의 통계적 공시 발생 모델이 불변 특징 학습 또는 메트릭 학습 기반 방법보다 성능이 뛰어나게 할 수 있는가?
• RQ4 코드북 크기와 커널 선택이 공시 발생 모델 성능에 어떤 영향을 미치는가?
• RQ5 잠재 공간 커널을 사용한 커널 평균 임베딩이 간단한 특징 표현에 비해 분류 능력을 향상시키는가?

주요 결과

• VIPeR 데이터셋에서 제안된 방법은 랭크-15 CMC 점수 83.86%를 기록하여 이전 최신 기술 대비 10.44% 향상되었다.
• CUHK Campus 데이터셋에서 방법은 랭크-15 CMC 점수 85.49%를 기록하여 이전 최신 기술을 22.27% 초월하였다.
• 코드북 크기가 100, 200, 500일 경우 성능이 가장 우수하며, 500개 이상의 코드워드에서는 성능 포화 상태에 도달한다.
• 학습된 가중치 행렬은 일부 코드워드 공시 발생 패턴이 매우 분류 가능하다는 것을 드러내며, 정확한 매칭에는 높은 양성 가중치, 잘못된 매칭에는 높은 음성 가중치가 나타난다.
• 잠재 공간 커널을 사용함으로써 다른 커널 선택 대비 성능 향상이著명하여, 공시 발생 모델링에서 공간적 맥락의 중요성을 시사한다.
• 이 방법은 우수한 일반화 능력을 보이며, VIPeR 및 CUHK Campus 벤치마크 데이터셋에서 일관된 최신 기술 성능을 달성한다.