[논문 리뷰] Three-Stream Convolutional Networks for Video-based Person Re-Identification

Yu Zeng, Tianrui Li외 4명|arXiv (Cornell University)|2017. 11. 22.

Video Surveillance and Tracking Methods참고 문헌 19인용 수 3

한 줄 요약

이 논문은 세 개의 스트림을 갖는 다중 스트림 아키텍처인 Three-Stream Convolutional Networks(TSCN)을 제안한다. TSCN는 세 개의 스트림에서 각각 다른 풀링 전략(최대 풀링, 평균 풀링, 스트라이드 2 컨벌루션)을 통해 상보적인 특징을 학습함으로써 영상 기반 인물 재식별 성능을 향상시킨다. 이러한 스트림들을 융합하고 다중 스케일 및 업샘플링 전략을 통합함으로써, TSCN는 iLIDS-VID, PRID-2011, MARS 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 랭크-5 정확도에서 이전 모델 대비 최대 2.6% 향상되었다.

ABSTRACT

This paper aims to develop a new architecture that can make full use of the feature maps of convolutional networks. To this end, we study a number of methods for video-based person re-identification and make the following findings: 1) Max-pooling only focuses on the maximum value of a receptive field, wasting a lot of information. 2) Networks with different streams even including the one with the worst performance work better than networks with same streams, where each one has the best performance alone. 3) A full connection layer at the end of convolutional networks is not necessary. Based on these studies, we propose a new convolutional architecture termed Three-Stream Convolutional Networks (TSCN). It first uses different streams to learn different aspects of feature maps for attentive spatio-temporal fusion of video, and then merges them together to study some union features. To further utilize the feature maps, two architectures are designed by using the strategies of multi-scale and upsampling. Comparative experiments on iLIDS-VID, PRID-2011 and MARS datasets illustrate that the proposed architectures are significantly better for feature extraction than the state-of-the-art models.

연구 동기 및 목표

• 영상 기반 인물 재식별 네트워크에서 최대 풀링과 완전 연결 층의 한계를 해결하기 위해.
• 다양한 특징 학습 전략을 갖춘 다중 스트림 아키텍처가 단일 스트림 모델 대비 성능 향상에 기여하는지 탐색하기 위해.
• 다중 스케일 및 업샘플링 기법이 학습된 특징 맵을 재사용하고 향상시키는 데 효과적인지 조사하기 위해.
• 마지막 완전 연결 층에 의존하지 않고 특징 맵을 최대로 활용하는 네트워크 아키텍처를 설계하기 위해.
• 표준 영상 재식별 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• TSCN 아키텍처는 세 개의 병렬 스트림을 사용하며, 각각 최대 풀링, 평균 풀링, 스트라이드 2 컨벌루션을 적용하여 특징 맵의 서로 다른 측면을 포착한다.
• 세 스트림의 출력을 연결하여 융합함으로써 상보적인 특징을 조합한 통합 표현을 학습한다.
• 다중 스케일 특징 추출 및 업샘플링을 통합하여 향상된 두 가지 변형인 Multi-TSCN과 Multi-Two-SCN을 제안한다.
• 최종 완전 연결 층을 회피하고, 글로벌 평균 풀링과 분류 헤드를 활용하여 엔드 투 엔드 학습을 수행한다.
• 시각적 흐름 특징을 사용하여 시간적 운동을 캡처하고, RGB 프레임과 융합하여 시공간 모델링을 수행한다.
• 표준 재식별 프로토콜을 사용하여 iLIDS-VID, PRID-2011, MARS 데이터셋에서 엔드 투 엔드로 모델을 학습시킨다.

실험 결과

연구 질문

• RQ1 단일 스트림 모델 대비 서로 다른 풀링 전략을 갖춘 다중 스트림 아키텍처가 영상 기반 인물 재식별에서 특징 표현을 향상시키는가?
• RQ2 다중 스케일 및 업샘플링 전략이 학습된 특징 맵의 재사용을 향상시키고 성능을 향상시키는가?
• RQ3 이 작업에서 최종에 완전 연결 층이 최적 성능을 내기 위해 필수적인가?
• RQ4 세 스트림 아키텍처가 정확도와 강건성 측면에서 단일 스트림 및 이중 스트림 모델을 모두 능가할 수 있는가?
• RQ5 다양한 스트림 조합 및 융합 전략이 다양한 데이터셋에서 최종 재식별 정확도에 미치는 영향은 어떠한가?

주요 결과

• 제안된 TSCN 모델은 iLIDS-VID에서 랭크-1 정확도 66.5%와 PRID-2011에서 79.2%를 기록하여, 동일한 시각적 흐름 알고리즘을 사용한 AMOC를 포함한 모든 이전 최신 기술 수준 모델을 능가한다.
• Multi-TSCN 변형은 iLIDS-VID에서 랭크-1 정확도 67.5%, PRID-2011에서 78.8%를 기록하여 다중 스케일 및 업샘플링 전략의 추가적 성능 향상을 입증한다.
• MARS 데이터셋에서 TSCN 모델은 랭크-1 정확도 45.6%를 기록하여 RNN-CNN(40.0%)과 ASTPN(44.0%)을 초월하여 대규모 벤치마크에서의 강건성을 확인한다.
• iLIDS-VID에서 최고의 단일 스트림 기반 모델 대비 세 스트림 아키텍처는 랭크-5 정확도를 2.6%p 향상시켜 스트림 간 강력한 상보성을 입증한다.
• 제거 분석 결과, 완전 연결 층이 필요하지 않음을 확인하였으며, 글로벌 평균 풀링은 파rameter 수를 줄이고도 뛰어난 성능을 달성한다.
• 다양한 과제를 가진 데이터셋 간에 성능이 안정적이며, 강력한 일반화 능력과 효과적인 특징 활용 능력을 보여준다.