[논문 리뷰] Deep Recurrent Convolutional Networks for Video-based Person Re-identification: An End-to-End Approach

Lin Wu, Chunhua Shen외 1명|arXiv (Cornell University)|2016. 06. 06.

Video Surveillance and Tracking Methods참고 문헌 5인용 수 56

한 줄 요약

이 논문은 영상 기반 인물 재식별을 위한 엔드 투 엔드 딥 순환 합성곱 신경망(Deep RCN)을 제안하며, 공간-시간 특징과 유사도 메트릭을 동시에 학습한다. 다중 수준 CNN 특징과 게이트드 순환 단위(GRUs)를 활용하여 프레임 간 운동 패턴을 모델링하고, 이후 시간 축 풀링을 적용함으로써 iLIDS-VID(46.1% 순위-1 정확도, KISSME 사용 시)와 PRID2011(69.0% 순위-1 정확도, KISSME 사용 시)에서 기존 방법들을 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper, we present an end-to-end approach to simultaneously learn spatio-temporal features and corresponding similarity metric for video-based person re-identification. Given the video sequence of a person, features from each frame that are extracted from all levels of a deep convolutional network can preserve a higher spatial resolution from which we can model finer motion patterns. These low-level visual percepts are leveraged into a variant of recurrent model to characterize the temporal variation between time-steps. Features from all time-steps are then summarized using temporal pooling to produce an overall feature representation for the complete sequence. The deep convolutional network, recurrent layer, and the temporal pooling are jointly trained to extract comparable hidden-unit representations from input pair of time series to compute their corresponding similarity value. The proposed framework combines time series modeling and metric learning to jointly learn relevant features and a good similarity measure between time sequences of person. Experiments demonstrate that our approach achieves the state-of-the-art performance for video-based person re-identification on iLIDS-VID and PRID 2011, the two primary public datasets for this purpose.

연구 동기 및 목표

• 조명, 자세, 시점, 배경의 큰 변동이 있는 영상 시퀀스에서 인물 재식별의 과제를 해결한다.
• 기존 영상 재식별 방법에서의 수작업 특징 추출 및 엔드 투 엔드 학습이 불가능한 한계를 극복한다.
• 영상 시퀀스에 대해 구분력 있는 공간-시간 특징과 강력한 유사도 메트릭을 동시에 학습한다.
• 시간적 동적 특징과 외관 정보를 활용해 겹치지 않는 카메라 시야 간에 보행자를 효과적으로 매칭할 수 있도록 한다.
• 학습 도메인 샘플을 초월하는 일반화 능력을 향상시켜 새로운 신원에 대해 일반화할 수 있도록 메트릭을 학습한다.

제안 방법

• 고해상도 공간 해상도를 유지하기 위해 깊이 있는 CNN를 사용해 각 프레임에서 다중 수준의 합성곱 특징을 추출하여 세밀한 운동 모델링을 가능하게 한다.
• 추출된 특징을 게이트드 순환 단위(GRU) 네트워크에 입력하여 시간적 변동성을 모델링하고 시간 단계 간의 운동 패턴을 포착한다.
• GRU 처리된 특징에 대해 시간 축 풀링을 적용하여 압축된 시퀀스 수준의 표현을 생성한다.
• 대비 손실을 사용해 전체 네트워크를 엔드 투 엔드로 학습함으로써 특징 추출과 유사도 메트릭 학습을 동시에 최적화한다.
• 두 입력 시퀀스에 대한 쌍둥이 하위 네트워크 간에 가중치를 공유하여 일관된 특징 학습과 유사도 계산을 보장한다.
• 특징 추출 후 거리 메트릭 학습(KISSME 또는 LFDA 등)을 통합하여 유사도 점수를 추가로 개선한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 딥 러닝 프레임워크는 영상 기반 인물 재식별을 위한 공간-시간 특징 학습과 유사도 메트릭 학습을 동시에 최적화할 수 있는가?
• RQ2 저수준 CNN 특징을 순환 단위로 모델링할 경우, 고수준 특징이나 고정된 프레임 선택 방식에 비해 운동 패턴 포착 능력이 향상되는가?
• RQ3 제안된 방법은 감시 응용 프로그램에서 요구하는 제로샷 또는 도메인 외 설정에서 새로운 신원에 대해 일반화 가능한가?
• RQ4 시간 축 풀링과 GRUs를 통합할 경우, 프레임 수준의 집계나 다중 수준 특징 융합이 없는 순환 모델에 비해 성능 향상이 이루어지는가?
• RQ5 대비 손실을 사용한 엔드 투 엔드 학습이 파ipeline 기반 접근 방식에 비해 재식별 정확도 향상에 어느 정도 기여하는가?

주요 결과

• 제안된 Deep RCN는 KISSME 거리 메트릭과 함께 iLIDS-VID 데이터셋에서 46.1%의 순위-1 정확도를 달성하여 이전 최고 성능 기록을 모두 초월한다.
• PRID2011 데이터셋에서는 KISSME를 사용해 69.0%의 순위-1 정확도를 기록하며, 이는 이전 최고 기록인 STFV3D+KISSME의 64.1%를 크게 상회한다.
• 두 데이터셋에서 HOG3D, FV2D, FV3D, STFV3D 기반 모델에 비해 모든 메트릭에서 성능이 뛰어나, 딥 엔드 투 엔드 특징 학습의 우수성을 입증한다.
• 거리 메트릭 학습(KISSME 또는 LFDA) 통합으로 성능이 추가로 향상되어, 학습된 특징이 메트릭 학습과 매우 잘 조화됨을 시사한다.
• GRU 처리된 특징에 대한 시간 축 풀링은 장기적인 운동 및 외관 역학을 효과적으로 요약하여 강력한 시퀀스 수준 표현을 가능하게 한다.
• 다중 수준 CNN 특징의 사용은 단일 수준 또는 고수준 특징만 사용하는 것보다 더 나은 세밀한 운동 패턴 모델링을 가능하게 한다.