[논문 리뷰] Video-based Person Re-identification Using Spatial-Temporal Attention Networks

Shivansh Rao, Tanzila Rahman외 2명|arXiv (Cornell University)|2018. 10. 26.

Video Surveillance and Tracking Methods참고 문헌 4인용 수 7

한 줄 요약

이 논문은 프레임 특징에서 직접 프레임 수준의 주의 점수를 계산함으로써 병렬 계산을 가능하게 하고 성능을 햖스키는 비디오 기반 인물 재식별을 위한 공간-시간 주의 네트워크를 제안한다. 다중 힙 공간 주의와 효율적인 시간적 집계를 통해 iLIDS-VID와 PRID-2011에서 각각 4%와 11% 높은 랭크-1 정확도를 달성하여 최신 기술 수준을 확립한다.

ABSTRACT

We consider the problem of video-based person re-identification. The goal is to identify a person from videos captured under different cameras. In this paper, we propose an efficient spatial-temporal attention based model for person re-identification from videos. Our method generates an attention score for each frame based on frame-level features. The attention scores of all frames in a video are used to produce a weighted feature vector for the input video. Unlike most existing deep learning methods that use global representation, our approach focuses on attention scores. Extensive experiments on two benchmark datasets demonstrate that our method achieves the state-of-the-art performance. This is a technical report.

연구 동기 및 목표

• 다양한 카메라 시야, 조도 변화 및 가림 상황에서 비디오 기반 인물 재식별의 과제를 해결하기 위해.
• 주의 메커니즘을 사용하여 정보가 많은 프레임에 집중함으로써 특징 표현을 향상시키기 위해.
• 순차적 처리를 피하고 GPU 병렬 처리를 가능하게 하는 계산 효율적인 주의 메커니즘을 설계하기 위해.
• 다중 공간 주의 힙의 영향이 모델 성능에 미치는 영향을 조사하기 위해.
• 기준 비디오 재식별 데이터셋에서 최신 기술 수준의 성능를 달성하기 위해.

제안 방법

• 모델은 각 프레임의 시각적 특징 벡터에서 직접 주의 점수를 계산하여 순환 신경망을 우회하고 병렬 계산을 가능하게 한다.
• 각 프레임에 대해 다중 힙 공간 주의 메커니즘을 적용하여 다양한 신체 부위에 집중함으로써 공간적 특징 표현을 향상시킨다.
• 시간적 주의는 학습된 주의 가중치를 사용해 프레임 수준의 특징을 집계하여 영상 수준의 표현을 형성함으로써 모델링된다.
• 최종 영상 표현은 주의 점수에 의해 결정된 가중치의 합으로 구성된다.
• 모델은 양성 쌍 간의 거리를 최소화하고 부정 쌍 간의 거리를 최대화하기 위해 트리플릿 손실을 사용하여 훈련된다.
• 표준 CMC 랭크 메트릭을 사용하여 iLIDS-VID 및 PRID-2011에서 모델이 평가된다.

실험 결과

연구 질문

• RQ1 프레임 특징에서 직접 계산되는 비순환 주의 메커니즘이 비디오 기반 인물 재식별에서 RNN 기반 주의보다 우월한 성능을 낼 수 있는가?
• RQ2 공간 주의 힙의 수가 모델 성능에 어떤 영향을 미치는가?
• RQ3 병렬 처리가 가능한 주의 메커니즘이 순차적 RNN 기반 방법보다 더 높은 성능을 낼 수 있는가?
• RQ4 제안된 공간-시간 주의 메커니즘이 노이즈가 많거나 가려진 프레임을 효과적으로 억제하는가?
• RQ5 성능와 복잡도의 균형을 고려할 때 최적의 주의 레이어 수는 얼마인가?

주요 결과

• 제안된 방법은 iLIDS-VID에서 랭크-1 정확도 66%를 달성하여 이전 최신 기술 수준의 방법보다 약 4% 높은 성능을 보였다.
• PRID-2011에서는 랭크-1 정확도 88%를 기록하여 이전 최신 기술 수준의 방법보다 11% 향상된 성능을 보였다.
• 세 개의 공간 주의 레이어를 가진 모델이 가장 뛰어난 성능를 보였으며, 레이어 수가 세 개를 초과할 경우 성능이 저하되었다.
• 공간 주의를 제거한 경우(레이어 수 0개) 정확도가 크게 떨어졌으며, iLIDS-VID에서는 랭크-1 정확도가 60%로 떨어지고 PRID-2011에서는 80%로 떨어졌다.
• 제거 실험 결과, 프레임 특징에서 직접 주의 점수를 계산하는 것이 RNN 기반 주의 메커니즘보다 더 효과적임을 확인하였다.
• 정성적 결과에서는 참조 매칭 결과가 항상 검색 목록에서 높은 순위를 차지함을 보여 주어 강력한 특징 학습 능력을 입증하였다.