[논문 리뷰] Where-and-When to Look: Deep Siamese Attention Networks for Video-based Person Re-identification

Lin Wu, Yang Wang외 2명|arXiv (Cornell University)|2018. 08. 03.

Video Surveillance and Tracking Methods참고 문헌 37인용 수 5

한 줄 요약

이 논문은 영상 기반 인물 재식별을 위한 깊이 있는 사위미(Siamese) 어텐션 네트워크를 제안한다. 이 네트워크는 시공간 영상 표현과 유사도 메트릭을 동시에 학습한다. 게이트드 순환 단위(Gated Recurrent Units)에 공간 어텐션을 통합함으로써, 구분 가능한 신체 부위와 시간적 프레임을 동적으로 강조하며, 세 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Video-based person re-identification (re-id) is a central application in surveillance systems with significant concern in security. Matching persons across disjoint camera views in their video fragments is inherently challenging due to the large visual variations and uncontrolled frame rates. There are two steps crucial to person re-id, namely discriminative feature learning and metric learning. However, existing approaches consider the two steps independently, and they do not make full use of the temporal and spatial information in videos. In this paper, we propose a Siamese attention architecture that jointly learns spatiotemporal video representations and their similarity metrics. The network extracts local convolutional features from regions of each frame, and enhance their discriminative capability by focusing on distinct regions when measuring the similarity with another pedestrian video. The attention mechanism is embedded into spatial gated recurrent units to selectively propagate relevant features and memorize their spatial dependencies through the network. The model essentially learns which parts (\emph{where}) from which frames (\emph{when}) are relevant and distinctive for matching persons and attaches higher importance therein. The proposed Siamese model is end-to-end trainable to jointly learn comparable hidden representations for paired pedestrian videos and their similarity value. Extensive experiments on three benchmark datasets show the effectiveness of each component of the proposed deep network while outperforming state-of-the-art methods.

연구 동기 및 목표

• 큰 시각적 변동성과 변동하는 프레임 레이트를 가진 분리된 카메라 뷰 간의 인물 재식별 과제를 해결한다.
• 기존 방법들이 특징 학습과 메트릭 학습을 별개의 단계로 다루어 시공간 종속성을 활용하지 못하는 한계를 극복한다.
• 어텐션 메커니즘을 통해 공간적 맥락과 시간적 동역학을 동시에 모델링하여 구분 가능한 특징 학습을 향상시킨다.
• 더 나은 일반화와 강건성을 확보하기 위해 종단간 훈련을 통해 영상 표현과 유사도 점수를 동시에 최적화할 수 있도록 한다.

제안 방법

• 공유 가중치를 가진 사위미 아키텍처를 사용하여 쌍으로 구성된 보행자 영상 시퀀스를 처리함으로써, 표현과 유사도 점수의 공동 학습을 가능하게 한다.
• 각 프레임에서 국소적 공간적 특징을 추출하기 위해 2D 컨볼루션 레이어를 사용한 후, 시간적 종속성을 모델링하기 위해 공간 인식이 가능한 게이트드 순환 단위(GRUs)를 적용한다.
• GRU 단위에 시각적 어텐션을 통합하여, 구분 가능한 공간 영역과 시간에 걸쳐 관련 있는 특징만을 선택적으로 강조하고 전파한다.
• 시퀀스에 대해 시간적 풀링을 적용하여 각 개인에 대한 고정 길이의 영상 수준 임베딩을 생성함으로써, 유사도 메트릭을 통한 비교를 가능하게 한다.
• 대조 손실(contrastive loss)을 사용하여 전체 네트워크를 종단간 훈련함으로써, 특징 표현과 유사도 예측을 동시에 최적화한다.
• 공간 어텐션 맵을 활용하여 어떤 신체 부위와 프레임이 매칭에 가장 관련이 있는지 시각화함으로써, 해석 가능성과 차폐에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 분리된 접근 방식과 비교해 볼 때, 시공간 표현과 유사도 메트릭의 공동 학습이 인물 재식별 정확도 향상에 기여하는가?
• RQ2 GRU 내부의 어텐션 메커니즘이 관련 있는 신체 부위와 프레임에 집중함으로써 특징의 구분 능력을 얼마나 효과적으로 향상시키는가?
• RQ3 특히 큰 소스 데이터셋에서 훈련된 경우, 도메인 이동이 있는 다양한 데이터셋 간에 제안된 모델이 얼마나 잘 일반화되는가?
• RQ4 차폐, 시점 변화, 혼잡한 배경과 같은 도전적인 조건에서 모델의 성능은 어떠한가?

주요 결과

• 제안된 방법은 iLIDS-VID, PRID2011, MARS 세 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 각각 Rank-1 정확도가 98.6%, 98.3%, 98.8%를 기록했다.
• iLIDS-VID에서 MARS에서 훈련하고 iLIDS-VID에서 테스트한 경우, 모델은 기존 방법들보다 뚜렷하게 높은 Rank-1 정확도 98.6%를 달성했다.
• 다른 데이터셋 간 평가 결과, 강력한 일반화 능력을 입증하였다. MARS에서 훈련하고 iLIDS-VID의 50%와 PRID2011에서 테스트한 경우, 각각 Rank-1 정확도 49.2%와 61.4%를 유지했다.
• 제거 실험(ablation studies) 결과, 공간 어텐션 메커니즘과 스택드된 GRU 아키텍처가 성능 향상에 필수적임을 확인하였으며, 제거 시 Rank-1 정확도가 최대 10% 감소하였다.
• 어텐션 맵의 시각화 결과, 부분적인 차폐나 배경 혼잡성에도 불구하고 모델이 상체와 걸음걸이 패턴에 효과적으로 집중하는 것으로 나타났다.
• 실패 사례는 주로 다른 개인 간에 상체 외형과 걸음걸이 패턴이 유사하여 발생하며, 특히 하체 특징이 차폐된 경우에 더 빈번하게 발생한다.