[논문 리뷰] Jointly Attentive Spatial-Temporal Pooling Networks for Video-based Person Re-Identification

Shuangjie Xu, Yu Cheng외 4명|arXiv (Cornell University)|2017. 08. 03.

Video Surveillance and Tracking Methods인용 수 40

한 줄 요약

이 논문은 영상 기반 인물 재식별을 위한 통합 공간-시간 주의 풀링 네트워크인 ASTPN을 제안한다. 이는 특징 표현 학습 중 영상 시퀀스 간 상호의존성을 모델링한다. 공간(프레임 당 영역) 및 시간(시퀀스 동안의 프레임) 차원에서 유사도 인식 주의를 활용함으로써, ASTPN은 iLIDS-VID, PRID-2011, MARS에서 최신 기법들을 능가하며, 최소한의 계산 오버헤드로 SOTA 성능을 달성한다.

ABSTRACT

Person Re-Identification (person re-id) is a crucial task as its applications in visual surveillance and human-computer interaction. In this work, we present a novel joint Spatial and Temporal Attention Pooling Network (ASTPN) for video-based person re-identification, which enables the feature extractor to be aware of the current input video sequences, in a way that interdependency from the matching items can directly influence the computation of each other's representation. Specifically, the spatial pooling layer is able to select regions from each frame, while the attention temporal pooling performed can select informative frames over the sequence, both pooling guided by the information from distance matching. Experiments are conduced on the iLIDS-VID, PRID-2011 and MARS datasets and the results demonstrate that this approach outperforms existing state-of-art methods. We also analyze how the joint pooling in both dimensions can boost the person re-id performance more effectively than using either of them separately.

연구 동기 및 목표

• 기존 영상 기반 인물 재식별 기법들이 시퀀스 표현을 독립적으로 다루며, 매칭 쌍 간 상호 영향을 간과한다는 한계를 해결한다.
• 풀링 과정에서 두 영상 시퀀스 간 상호의존성을 모델링함으로써 특징 표현을 향상시키며, 인간의 시각 주의 메커니즘에 영감을 받는다.
• 유사도 기반 주의를 사용하여 유의미한 공간 영역과 정보가 풍부한 시간 프레임을 동시에 고려하는 통합 프레임워크를 개발한다.
• 단일 주의 메커니즘 또는 표준 풀링과 비교할 때 통합 공간-시간 주의가 재식별 성능을 크게 향상시키는지 입증한다.
• 특히 새로운 데이터 분포에서의 성능을 확보하기 위해 교차 데이터셋 성능 평가를 통해 일반화 능력을 확보한다.

제안 방법

• CNN-RNN 기반 백본을 사용하여 이중 네트워크 아키텍처를 적용해 두 입력 영상 시퀀스의 깊은 특징을 추출한다.
• 두 시퀀스의 특징 간 유사도 점수를 계산하여 공간 및 시간 차원에서의 주의 학습을 안내한다.
• 상호 시퀀스 유사도 기반으로 구분 능력이 뛰어난 영역을 강조하는 주의 벡터를 사용해 공간 풀링을 수행한다.
• 유사도 기반 주의를 활용해 핵심 프레임을 선택함으로써 시퀀스 수준의 표현을 향상시키기 위해 주의 기반 시간 풀링을 수행한다.
• 최종 분류 또는 매칭을 위해 주의 기반 특징을 이중 비교 헤드를 통해 활용한다.
• 구분 능력 있는 특징 학습과 매칭 정확도 최적화를 위해 대비 손실 또는 트리플릿 손실을 사용해 전체 네트워크를 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 영상 재식별에서 공간과 시간 차원을 동시에 고려하는 주의가 독립적 주의 또는 표준 풀링보다 성능을 향상시키는가?
• RQ2 특징 풀링 과정에서 두 영상 시퀀스 간 상호의존성을 모델링할 경우, 독립적 처리 대비 매칭 정확도에 어떤 영향을 미치는가?
• RQ3 제안된 주의 메커니즘이 시점 변화, 가림, 조도 변화와 같은 도전적인 조건 하에서도 얼마나 강건한가?
• RQ4 단일 데이터셋에서 훈련된 모델과 비교할 때, 통합 공간-시간 주의 메커니즘은 더 나은 일반화 성능을 보이는가?
• RQ5 단일 샷 및 다중 샷 테스트 시나리오에서 ASTPN의 성능은 최신 기법들과 비교해 어떻게 되는가?

주요 결과

• ASTPN은 iLIDS-VID, PRID-2011, MARS에서 최신 기법들을 능가하는 SOTA 성능을 달성하며, RNN-CNN 및 최대/평균 풀링 기반 베이스라인을 모두 초월한다.
• PRID-2011에서 ASTPN은 랭크 2 정확도에서 RNN-CNN 기반 베이스라인보다 약 10% 높은 성능을 기록하여 통합 주의의 강력한 성능 향상을 입증한다.
• iLIDS-VID에서 ASTPN은 RNN-CNN 기반 베이스라인 대비 랭크 3 정확도를 5% 향상시켜 더 높은 구분 능력을 보임을 확인한다.
• 더 도전적인 MARS 데이터셋에서 ASTPN은 시간만 고려하는 ATPN보다 약 5% 높은 랭크 3 정확도를 기록하여 통합 공간-시간 학습의 효과를 입증한다.
• 교차 데이터셋 테스트에서 iLIDS-VID에서 훈련하고 PRID-2011의 50%에서 테스트한 경우 ASTPN은 30%의 랭크-1 정확도를 달성하며 RNN-CNN 기반 베이스라인을 초월하고 강력한 일반화 능력을 보여준다.
• ASTPN을 활용한 영상 기반 재식별은 단일 샷 방법 대비 랭크-1 정확도를 100% 향상시키며, 시간 모델링의 유용성을 확인한다.