[논문 리뷰] PRISM: Person Re-Identification via Structured Matching

Ziming Zhang, Venkatesh Saligrama|arXiv (Cornell University)|2014. 06. 13.

Video Surveillance and Tracking Methods인용 수 6

한 줄 요약

PRISM는 시야 간 큰 외관 변화 조건에서도 일치 정확도를 향상시키기 위해 카메라 뷰 간 시각적 워드 동시 발생 패턴을 모델링하는 구조적 매칭 프레임워크를 제안한다. 가중치가 부여된 이분 그래프 매칭 설정에서 동시 발생 통계를 통해 에지 가중치를 학습함으로써, PRISM는 낮은 계산 비용과 저장 요구량으로도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Person re-identification (re-id), an emerging problem in visual surveillance, deals with maintaining entities of individuals whilst they traverse various locations surveilled by a camera network. From a visual perspective re-id is challenging due to significant changes in visual appearance of individuals in cameras with different pose, illumination and calibration. Globally the challenge arises from the need to maintain structurally consistent matches among all the individual entities across different camera views. We propose PRISM, a structured matching method to jointly account for these challenges. We view the global problem as a weighted graph matching problem and estimate edge weights by learning to predict them based on the co-occurrences of visual patterns in the training examples. These co-occurrence based scores in turn account for appearance changes by inferring likely and unlikely visual co-occurrences appearing in training instances. We implement PRISM on single shot and multi-shot scenarios. PRISM uniformly outperforms state-of-the-art in terms of matching rate while being computationally efficient.

연구 동기 및 목표

• 비겹치는 카메라 뷰 간에 외관이 크게 변하는 감시 시스템에서의 인물 재식별 도전 과제를 해결한다.
• 시각적 모호성과 공간 왜곡을 극복하기 위해 시각적 워드의 동시 발생 패턴을 모델링함으로써 시야 간 인물 매칭을 향상시킨다.
• 엔티티 수준의 매칭을 공동 최적화할 수 있도록 인물 재식별을 가중치가 부여된 이분 그래프 매칭 문제로 공식화한다.
• 실세계 구현을 위해 계산 효율성과 낮은 저장 요구량을 유지하면서도 높은 매칭 정확도를 달성한다.
• 일괄 촬영 및 다중 촬영 재식별 시나리오 모두에 확장하여 일관된 성능 향상을 달성한다.

제안 방법

• 노드가 인물 엔티티를 나타내고 에지가 유사도 점수를 나타내는 가중치가 부여된 이분 그래프 매칭 문제로 인물 재식별을 모델링한다.
• 학습 데이터에서 유도된 시각적 워드 동시 발생 통계를 기반으로 한 구조적 학습 프레임워크를 사용해 에지 가중치를 학습한다.
• 다른 카메라에서 온 이미지 쌍 간의 시각적 코드워드 동시 발생 패턴을 기반으로 기저 함수를 정의하여 강건한 외관 변환을 캡처한다.
• 잠재 변수 조건부 밀도를 사용한 커널 평균 임베딩을 활용해 시각적 워드의 공간 분포를 공통 잠재 공간에 인코딩한다.
• 학습 데이터 통계에서 동시 발생 기저 함수의 가중치를 추정하여 가능한 매칭과 불가능한 매칭을 예측한다.
• 구조적 매칭을 적용해 잘못된 단일 매칭을 수정하고 엔티티 매칭의 전반적 일관성을 향상시킨다.

실험 결과

연구 질문

• RQ1 시각적 워드 동시 발생 패턴은 어떻게 인물 재식별에서 외관 변화에 대한 강건성을 향상시키는 데 활용될 수 있는가?
• RQ2 가중치가 부여된 이분 그래프 최적화를 통한 구조적 매칭은 기존의 쌍별 매칭보다 재식별에서 더 우수한 성능을 낼 수 있는가?
• RQ3 시각적 워드의 공간 분포를 통합함으로써 포즈, 조도 및 캘리브레이션 변화 조건에서의 시야 간 매칭은 어떻게 향상되는가?
• RQ4 기본적인 외관 특징에 비해 동시 발생 기반 기저 함수는 매칭 정확도에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 실세계 감시 응용에서 낮은 저장 및 계산 비용으로도 높은 성능을 유지할 수 있는가?

주요 결과

• PRISM는 다양한 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성했으며, 다중 촬영 설정에서 VIPeR 데이터셋에서 랭크-1 매칭률이 22.6%를 기록했다.
• PRISM-iii는 샘플당 단지 16.2 KB의 저장 용량으로 VIPeR에서 22.6%의 랭크-1 정확도를 달성하여 높은 효율성을 입증했다.
• 구조적 매칭은 잘못된 단일 매칭을 수정한다. 정성적 결과에서 PRISM는 비구조적 기준선이 놓친 진짜 매칭을 성공적으로 복구했다.
• 316개의 프로브 및 갤러리 이미지에 대한 엔티티 수준 매칭에서 계산 시간을 2초 이내로 줄였으며, T3(구조적 매칭)는 단지 1.3~1.5초가 소요되었다.
• PRISM는 KISSME 및 KISSME+SM과 같은 최신 기술 수준의 방법들보다 모든 설정에서 일관되게 뛰어난 성능을 보였다. 이는 일괄 촬영 및 다중 촬영 재식별 모두에 해당된다.
• 동시 발생 기반 기저 함수는 색상 이동(예: 흰색에서 밝은 파랑)과 같은 외관 변환을 효과적으로 모델링하여 시야 간 변형에 대한 강건성을 향상시켰다.