[논문 리뷰] Unsupervised Adaptive Re-identification in Open World Dynamic Camera Networks

Rameswar Panda, Amran Bhuiyan외 2명|arXiv (Cornell University)|2017. 06. 09.

Video Surveillance and Tracking Methods인용 수 6

한 줄 요약

이 논문은 일시적으로 추가되는 새로운 카메라가 포함된 동적 카메라 네트워크를 위한 비지도 적응형 재식별 프레임워크를 제안한다. 최적의 소스 카메라를 식별하기 위해 지오데식 플로우 커널 기반 방법을 사용하고, 모든 카메라 쌍 간에 정확도 향상을 전파하기 위해 전이 추론 알고리즘을 도입하여, 재학습이 필요 없이 벤치마크 데이터셋에서 최신 비지도 방법들을 크게 능가한다.

ABSTRACT

Person re-identification is an open and challenging problem in computer vision. Existing approaches have concentrated on either designing the best feature representation or learning optimal matching metrics in a static setting where the number of cameras are fixed in a network. Most approaches have neglected the dynamic and open world nature of the re-identification problem, where a new camera may be temporarily inserted into an existing system to get additional information. To address such a novel and very practical problem, we propose an unsupervised adaptation scheme for re-identification models in a dynamic camera network. First, we formulate a domain perceptive re-identification method based on geodesic flow kernel that can effectively find the best source camera (already installed) to adapt with a newly introduced target camera, without requiring a very expensive training phase. Second, we introduce a transitive inference algorithm for re-identification that can exploit the information from best source camera to improve the accuracy across other camera pairs in a network of multiple cameras. Extensive experiments on four benchmark datasets demonstrate that the proposed approach significantly outperforms the state-of-the-art unsupervised learning based alternatives whilst being extremely efficient to compute.

연구 동기 및 목표

• 비용이 많이 드는 재학습이 필요 없이 새로 도입된 카메라를 기존 재식별 시스템에 통합하는 문제를 해결하기 위해.
• 새로운 타겟 카메라와의 적응을 위해 설치된 카메라 네트워크에서 최적의 소스 카메라를 식별하기 위해.
• 최상의 소스-타겟 쌍에서 유래한 정보를 이용해 전이 추론을 통해 모든 카메라 쌍 간의 재식별 정확도를 향상시키기 위해.
• 실세계 개방형 감시 시스템에 적합한 확장성 있고 효율적인 솔루션을 개발하기 위해.

제안 방법

• 지오데식 플로우 커널 기반 도메인 인식 재식별 방법을 사용하여 카메라 쌍 간의 유사도를 계산하고, 새로 도입된 타겟 카메라와의 적응에 가장 적합한 소스 카메라를 식별한다.
• 지오데식 플로우 커널은 카메라 간 특성 분포의 다양체 구조를 모델링하여 비지도 도메인 적응을 가능하게 한다.
• 전이 추론 알고리즘을 도입하여 최상의 소스-타겟 쌍에서 유도된 정확도를 직접 학습 데이터가 없는 다른 카메라 쌍으로 전파한다.
• 새로운 카메라의 레이블 데이터가 필요 없으며, 오직 특성 임bedding과 상호 카메라 메트릭 학습에 의존한다.
• 기준 메트릭 학습 방법으로 KISSME와 LDML을 사용하여 평가하였으며, 모든 가능한 타겟 카메라 삽입에 대해 성능을 평균화하였다.
• 계산적으로 효율적이고 확장 가능한 프레임워크로, 대규모 동적 카메라 네트워크에 적합하도록 설계되었다.

실험 결과

연구 질문

• RQ1 새로 도입된 타겟 카메라와의 적응을 위해 비지도 방식으로 최적의 소스 카메라를 효율적으로 식별할 수 있는가?
• RQ2 최상의 소스-타겟 적응 정보만을 사용하여 전이 추론이 여러 카메라 쌍 간의 재식별 정확도를 향상시킬 수 있는가?
• RQ3 동적 카메라 네트워크 환경에서 제안된 비지도 방법이 감독 기반 메트릭 학습 기준선과 비교해 어떻게 성능을 내는가?
• RQ4 네트워크 크기와 카메라 다양성이 재식별에서 비지도 적응의 성능에 어떤 영향을 미치는가?
• RQ5 레이블 데이터 없이도 지오데식 플로우 커널이 카메라 간 도메인 이동을 효과적으로 모델링할 수 있는가?

주요 결과

• 제안된 방법은 WARD 데이터셋에서 모든 감독 기반 메트릭 학습 기준선을 능가하며, Ours-L은 랭크-1 정확도 73.77%를 기록하여 MLAPG를 초월한다.
• 4대의 카메라가 있는 RAiD 데이터셋에서, 방법은 Ours-L 기준 61.87%의 랭크-1 정확도를 기록하여 신규 카메라에서의 레이블 데이터 부재에도 강력한 성능을 보였다.
• 비지도 접근 방식은 FT 및 ICT와 같은 특성 변환 기반 방법보다 크게 뛰어나며, 두 데이터셋 모두에서 랭크-1 정확도가 50% 미만으로 떨어졌다.
• 전이 추론은 직접 학습 데이터가 없는 경우에도 모든 카메라 쌍 간에 성능 향상을 가능하게 한다.
• 계산 효율성이 뛰어나 KISSME 기반 변형은 LDML 대비 40% 빠르며, 대규모 배포에 적합하다.
• 네트워크 크기가 커져도 성능이 유지되어 카메라 수 증가와 도메인 이동에 대해 강건함을 입증했다.