[논문 리뷰] Multi-scale Deep Learning Architectures for Person Re-identification

Xuelin Qian, Yanwei Fu외 3명|arXiv (Cornell University)|2017. 09. 15.

Video Surveillance and Tracking Methods참고 문헌 33인용 수 37

한 줄 요약

이 논문은 다중 공간 해상도에서 분류 가능한 특징을 명시적으로 학습하고, 사활 기반 융합 레이어를 통해 이를 적응적으로 융합하는 다중 척도 딥 러닝 아키텍처인 MuDeep을 제안한다. 이 모델은 CUHK01, PRID-2011, iLIDS-VID에서 최신 기술을 초월하며, CUHK01에서 79.01%의 랭크-1 정확도와 PRID-2011에서 65%의 정확도를 기록하여 다중 척도 특징 학습과 주의 기반 융합을 통한 뛰어난 성능을 입증한다.

ABSTRACT

Person Re-identification (re-id) aims to match people across non-overlapping camera views in a public space. It is a challenging problem because many people captured in surveillance videos wear similar clothes. Consequently, the differences in their appearance are often subtle and only detectable at the right location and scales. Existing re-id models, particularly the recently proposed deep learning based ones match people at a single scale. In contrast, in this paper, a novel multi-scale deep learning model is proposed. Our model is able to learn deep discriminative feature representations at different scales and automatically determine the most suitable scales for matching. The importance of different spatial locations for extracting discriminative features is also learned explicitly. Experiments are carried out to demonstrate that the proposed model outperforms the state-of-the art on a number of benchmarks

연구 동기 및 목표

• 기존의 단일 척도에서 작동하는 딥 러닝 re-ID 모델이 미세한 국소적 차이를 활용하지 못하는 한계를 해결하기 위해.
• 사람이 시각적 매칭을 수행할 때처럼 다중 공간 척도에서 분류 가능한 특징을 학습하기 위해.
• 학습 가능한 주의 메커니즘을 통해 매칭에 가장 관련성이 높은 척도와 공간 위치를 자동으로 결정하기 위해.
• 사활 기반 융합 레이어를 통해 다중 척도 특징을 결합하여 특징 표현을 향상시키기 위해.
• 중간 레이어에서 보조 분류 손실을 통해 다중 척도 특징 학습의 보조 감독을 강화하기 위해.

제안 방법

• 입력 이미지의 다중 공간 척도에서 특징을 추출하는 다중 척도 스트림 레이어를 갖춘 시아모이스 네트워크 기반 아키텍처를 제안한다.
• 채널별 중요도 가중치를 학습하여 다중 척도 특징을 적응적으로 융합하는 사활 기반 학습 융합 레이어를 도입한다.
• 다중 척도 특징 학습을 강화하기 위해 중간 레이어에서 보조 분류 손실을 활용한다.
• 각 브랜치가 입력 이미지의 다른 척도를 처리하는 다중 브랜치 네트워크 설계를 사용한다.
• 특징 학습과 매칭을 동시에 최적화하기 위해 검증 손실과 분류 손실의 조합을 사용해 엔드 투 엔드 학습을 수행한다.
• 최종 매칭을 위해 서로 다른 척도의 출력을 결합하기 위해 특징 연결 및 융합 전략을 활용한다.

실험 결과

연구 질문

• RQ1 다양한 공간 척도에서 특징을 학습하는 딥 러닝 모델이 단일 척도 re-ID 모델보다 성능이 뛰어나게 될 수 있는가?
• RQ2 모델이 자동으로 사람 매칭에 가장 분류 가능한 척도와 공간 위치를 결정할 수 있는가?
• RQ3 고정 또는 평균 융합 대비 사활 기반 특징 융합 통합이 re-ID 성능 향상에 기여하는가?
• RQ4 중간 레이어에서의 보조 분류 손실이 다중 척도 특징 학습에 어느 정도 기여하는가?
• RQ5 제안된 다중 척도 아키텍처가 다양한 이미지 해상도와 조건을 가진 다양한 re-ID 벤치마크에 잘 일반화되는가?

주요 결과

• MuDeep는 CUHK01 데이터셋에서 79.01%의 랭크-1 정확도를 기록하여 Inception A, Inception B 및 그 앙상블을 포함한 모든 베이스라인 모델을 능가한다.
• 제거 실험 결과, 사활 기반 융합 레이어 또는 분류 서브넷을 제거할 경우 성능 저하가 발생하며, 전체 모델이 가장 우수한 성능을 기록한다.
• PRID-2011 데이터셋에서 MuDeep는 65%의 랭크-1 정확도를 기록하여 대부분의 기존 비디오 기반 re-ID 모델을 능가하며, 다음으로 우수한 방법보다 15%포인트 높은 성능을 보였다.
• iLIDS-VID에서 MuDeep는 41%의 랭크-1 정확도를 기록하여 기존의 기준 모델들, DDC(28%) 및 VR(42%)보다 뚜렷이 높은 성능을 보였다.
• 제거 실험을 통해 사활 기반 융합 레이어와 분류 서브넷 모두 성능 향상에 크게 기여하며, 이들의 조합이 가장 높은 정확도를 제공함을 확인했다.
• 다양한 해상도 실험 결과, 낮은 해상도에서 학습할 경우 성능 저하가 발생하며, 서로 다른 해상도에서 모델을 융합해도 이득이 미미한 것으로 나타나, 최적의 해상도 선택은 비단순하고 모델에 따라 다름을 시사한다.