[논문 리뷰] Person Re-identification via Structured Prediction.

Ziming Zhang, Venkatesh Saligrama|arXiv (Cornell University)|2014. 06. 13.

Face recognition and analysis인용 수 3

한 줄 요약

이 논문은 기저 함수와 국소 민감도 공존 측정법을 통해 시각적 패턴의 동시 발생을 학습함으로써 두 카메라 뷰 간의 동시에 일어나는 매칭을 모델링하는 구조적 예측 프레임워크를 제안한다. VIPeR 및 CUHK Campus 데이터셋에서 각각 38.92%와 56.69%의 랭크-1 정확도를 달성하여 이전 방법들보다 각각 8.76%와 28.24% 향상된 최신 기술 수준의 성능을 보였다.

ABSTRACT

The goal of person re-identification (re-id) is to maintain the identity of an indi-vidual in diverse locations through different non-overlapping camera views. Re-id is fundamentally challenging because of appearance changes resulting from dif-fering pose, illumination and camera calibration of the two views. Existing lit-erature deals with the two-camera problem and proposes methods that seek to match a single image viewed in one camera to a gallery of images in the other. We propose structured prediction as a way to learn simultaneous matches across the two camera views. We deal with appearance changes in our prediction model through basis functions that encode co-occurrences of visual patterns in the two images. We develop locality sensitive co-occurrence measures as a way to incor-porate semantically meaningful appearance changes. Empirical performance of our method on two benchmark re-id datasets, VIPeR [12] and CUHK Campus [38], achieves accuracy rates of 38.92 % and 56.69%, at rank-1 on the so-called Cumulative Match Characteristic curves and beats the state-of-the-art results by 8.76 % and 28.24%. 1

연구 동기 및 목표

• 자세, 조도, 카메라 간 차이로 인한 외관 변화에 의한 인물 재식별의 과제를 해결한다.
• 단일 이미지를 갤러리 이미지 집합에 매칭하는 기존의 이중 카메라 재식별 방법의 한계를 극복한다.
• 두 카메라 뷰 간의 동시에 일어나는 예측을 학습하는 공동 매칭 프레임워크를 개발한다.
• 국소 민감도 공존 측정법을 통해 의미 있는 외관 변화를 통합한다.
• 기준 데이터셋에서 최신 기술 수준의 방법들을 초월하는 재식별 정확도를 향상시킨다.

제안 방법

• 두 겹치지 않는 카메라 뷰 간의 인물 이미지 동시 매칭을 모델링하기 위해 구조적 예측을 사용한다.
• 해당 이미지 쌍 간의 시각적 패턴 공존을 인코딩하는 기저 함수를 정의한다.
• 의미 있는 외관 변화를 포착하기 위해 국소 민감도 공존 측정법을 설계한다.
• 학습된 기저 함수를 사용하여 매칭 관계를 예측하기 위한 판별 모델을 훈련시킨다.
• 복잡한 출력 구조를 다룰 수 있도록 구조적 예측 기법을 사용해 예측 모델을 엔드 투 엔드로 최적화한다.
• 공존 구조를 활용하여 카메라 뷰 간의 외관 변화에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 구조적 예측이 두 카메라 뷰 간의 동시 매칭을 모델링함으로써 인물 재식별 성능을 향상시킬 수 있는가?
• RQ2 시각적 패턴 공존을 인코딩하는 기저 함수가 자세 및 조도로 인한 외관 변화를 얼마나 효과적으로 포착할 수 있는가?
• RQ3 국소 민감도 공존 측정법이 모델의 외관 변화에 대한 일반화 능력을 얼마나 향상시키는가?
• RQ4 제안된 방법이 표준 재식별 벤치마크에서 기존 최신 기술 수준의 접근 방식을 초월하는가?

주요 결과

• 제안된 방법은 VIPeR 데이터셋에서 랭크-1 정확도 38.92%를 달성하여 이전 최신 기술 수준보다 8.76% 포인트 향상되었다.
• CUHK Campus 데이터셋에서는 랭크-1 정확도 56.69%를 기록하여 이전 최신 기술 수준보다 28.24% 향상되었다.
• 시각적 패턴 공존을 인코딩하는 기저 함수의 사용은 외관 변화 상황에서도 모델의 일반화 능력을 크게 향상시켰다.
• 국소 민감도 공존 측정법은 의미 있는 외관 변화를 예측 프레임워크에 효과적으로 통합하였다.
• 구조적 예측 접근 방식은 단일 이미지 간 갤러리 매칭 전략에 비해 더 강건하고 정확한 동시에 매칭을 가능하게 하였다.
• 두 벤치마크 데이터셋에 대한 실험 결과는 본 방법의 효과성과 실제 재식별 시나리오에서의 일반화 능력을 확인시켰다.