[논문 리뷰] Person Re-identification in Appearance Impaired Scenarios

Mengran Gou, Xikang Zhang외 4명|arXiv (Cornell University)|2016. 04. 01.

Video Surveillance and Tracking Methods참고 문헌 34인용 수 8

한 줄 요약

이 논문은 외관이 유사하거나 의복을 변경한 경우와 같은 외관 손상 상황에서의 인물 재식별 성능을 향상시키기 위해 피셔 벡터로 인코딩된 밀도 높은 단기 궤적을 사용하여 운동 패턴과 보행 패턴을 캡처하는 동역학 기반 기능인 DynFV를 제안한다. 이 방법은 특히 도전적인 환경에서 재식별 정확도를 크게 향상시키며, iLIDSVID에서 Rank-1 성능이 74% 향상되었고, PRID에서 43% 향상되었다.

ABSTRACT

Person re-identification is critical in surveillance applications. Current approaches rely on appearance based features extracted from a single or multiple shots of the target and candidate matches. These approaches are at a disadvantage when trying to distinguish between candidates dressed in similar colors or when targets change their clothing. In this paper we propose a dynamics-based feature to overcome this limitation. The main idea is to capture soft biometrics from gait and motion patterns by gathering dense short trajectories (tracklets) which are Fisher vector encoded. To illustrate the merits of the proposed features we introduce three new "appearance-impaired" datasets. Our experiments on the original and the appearance impaired datasets demonstrate the benefits of incorporating dynamics-based information with appearance-based information to re-identification algorithms.

연구 동기 및 목표

• 대상자가 유사한 옷을 입거나 의복을 변경하는 경우 외관 기반 재식별 방법의 한계를 해결하기 위해.
• 비디오 시퀀스의 시간적 및 운동 정보를 활용하여 외관 열악한 상황에서의 재식별 내성 향상하기 위해.
• 실제 감시 환경을 반영한 실질적인 조건에서 재식별 성능 평가를 위한 세 가지 새로운 '외관 손상' 데이터셋을 제시하기 위해.
• 동역학 기반 기능(예: DynFV)이 외관 기반 기능과 상보적인 정보를 제공하며 전체 재식별 정확도를 향상시킨다는 것을 입증하기 위해.

제안 방법

• 운동 패턴을 캡처하기 위해 광학 흐름을 사용하여 비디오 시퀀스에서 밀도 높은 단기 궤적(트랙렛)을 추출한다.
• 이러한 밀도 높은 궤적의 시간 피라미드에 피셔 벡터 인코딩을 적용하여 압축되고 분류 능력이 뛰어난 동역학 기반 기능 표현(DynFV)을 생성한다.
• 기존의 외관 기반 기능(예: LDFV)과 DynFV를 융합하여 통합 기능을 구성한다.
• 제안된 기능의 비지도 성능 평가를 위해 어떤 지도 학습도 사용하지 않고 단순한 최근접 이웃 분류기 사용한다.
• 세 가지 새로운 외관 손상 데이터셋을 설계하고 수집: PRID-BK(검은 옷 전용), TSD(의복 변화가 있는 철도역 영상), iLIDSVID-BK(검은 옷 서브셋).
• 궤적 인코딩 최적화를 위해 슬라이딩 윈도우 크기의 영향을 다중 피라미드 수준(a ∈ {5, 9, 14})을 사용하여 DynFV 성능에 영향을 분석한다.

실험 결과

연구 질문

• RQ1 밀도 높은 궤적에서 파생된 동역학 기반 기능이 외관 기능이 실패하는 외관 손상 상황에서 인물 재식별 성능을 향상시킬 수 있는가?
• RQ2 제안된 DynFV 기능은 외관 기반 기능과 비교해 재식별 정확도에서 어떤 성능을 보이는가?
• RQ3 DynFV를 외관 기반 기능(예: LDFV)과 융합할 경우 표준 및 외관 손상 상황 데이터셋에서 성능 향상 정도는 어느 정도인가?
• RQ4 궤적 추출에 사용된 슬라이딩 윈도우 크기 변화에 따라 DynFV 기능의 민감도는 어느 정도인가?
• RQ5 의복 변경 또는 유사한 의복을 입은 상황에서 DynFV의 상대적 성능 향상 정도는 어느 정도인가?

주요 결과

• iLIDSVID 데이터셋에서 LDFV 기능을 단독으로 사용할 경우 대비 DynFV와 LDFV 기능을 융합한 결과 Rank-1 성능이 74% 상승하였다.
• PRID 데이터셋에서 LDFV 기능을 단독으로 사용할 경우 대비 DynFV+LDFV 융합 결과 Rank-1 정확도가 43% 향상되었다.
• 외관 손상 상황에서, LDFV 기능을 단독으로 사용할 경우 대비 PRID-BK 데이터셋에서 24.14% 향상되었고, TSD 데이터셋에서는 16.19% 향상되었다.
• 모든 세 개의 피라미드 수준(a ∈ {5, 9, 14})을 사용하여 DynFV를 생성할 경우, 기존 궤적만 사용할 때(a = 14) 대비 PRID-BK 데이터셋에서 Rank-1 정확도가 32.71% 상승하였다.
• PRID 데이터셋에서 DynFV+LDFV 융합 기능은 AFDA 및 ColorLBP+DVR와 같은 최신 기술을 포함한 모든 평가 방법 중에서 가장 높은 Rank-1 성능(43.6%)을 기록하였다.
• TSD 데이터셋에서 LDFV 기능을 단독으로 사용할 경우 대비 DynFV+LDFV 융합 결과 Rank-1 성능이 38.92% 향상되었으며, 의복 변경 상황에서 강력한 효과를 입증하였다.