[논문 리뷰] Watching You: Global-guided Reciprocal Learning for Video-based Person Re-identification

Xuehu Liu, Pingping Zhang외 3명|arXiv (Cornell University)|2021. 03. 07.

Video Surveillance and Tracking Methods참고 문헌 32인용 수 11

한 줄 요약

이 논문은 비디오 기반 인물 재식별을 위한 글로벌 가이드드 상호학습(GRL) 프레임워크를 제안하며, 전역적 맥락과 국소적 단서를 동시에 활용하여 분류 성능을 향상시킨다. 글로벌 가이드드 상관관계 추정(GCE)을 도입하여 특징을 고상관도 및 저상관도 성분으로 분리하고, 순차적으로 선명한 특징을 강화하고 부차적인 단서를 누적시키는 시간적 상호학습(TLR)을 적용함으로써 세 가지 벤치마크에서 최고 성능을 달성한다.

ABSTRACT

Video-based person re-identification (Re-ID) aims to automatically retrieve video sequences of the same person under non-overlapping cameras. To achieve this goal, it is the key to fully utilize abundant spatial and temporal cues in videos. Existing methods usually focus on the most conspicuous image regions, thus they may easily miss out fine-grained clues due to the person varieties in image sequences. To address above issues, in this paper, we propose a novel Global-guided Reciprocal Learning (GRL) framework for video-based person Re-ID. Specifically, we first propose a Global-guided Correlation Estimation (GCE) to generate feature correlation maps of local features and global features, which help to localize the high- and low-correlation regions for identifying the same person. After that, the discriminative features are disentangled into high-correlation features and low-correlation features under the guidance of the global representations. Moreover, a novel Temporal Reciprocal Learning (TRL) mechanism is designed to sequentially enhance the high-correlation semantic information and accumulate the low-correlation sub-critical clues. Extensive experiments are conducted on three public benchmarks. The experimental results indicate that our approach can achieve better performance than other state-of-the-art approaches. The code is released at https://github.com/flysnowtiger/GRL.

연구 동기 및 목표

• 기존의 비디오 Re-ID 방법이 두드러진 영역에 과도하게 의존함으로써 미세한, 부차적인 시각적 단서를 포착하지 못하는 한계를 해결하기 위해.
• 상관관계 기반 분리 기반으로 전역적 맥락과 국소적 공간-시간 단서를 통합하여 특징 표현을 향상시키기 위해.
• 양방향 시간 학습을 통해 선명한 특징과 비연속적인 분류 특징을 모두 향상시키기 위해.
• 통합된 글로벌 가이드드 학습 프레임워크를 통해 공개 비디오 Re-ID 벤치마크에서 최고 성능을 달성하기 위해.

제안 방법

• 지역적 프레임 수준의 특징와 전역 비디오 표현 간의 상관관계 맵을 계산하여 특징 분리를 유도하는 글로벌 가이드드 상관관계 추정(GCE) 모듈을 제안한다.
• 상관관계 맵을 활용해 공간적 특징을 고상관도(두드러진, 연속적인) 및 저상관도(두드러지지 않은, 비연속적인) 성분으로 분리한다.
• 앞서서 처리하고 뒤에서 처리하는 방식을 적용하여 고상관도 특징을 강화하고 프레임 간에 저상관도 특징을 누적시키는 시간적 상호학습(TLR) 모듈을 도입한다.
• 공간적으로 두드러지고 시간적으로 일치하는 정보를 강조하기 위해 고상관도 특징에 대해 의미론적 강화 전략을 적용한다.
• 저상관도 특징을 위해 시간 메모리 메커니즘을 사용하여 시간에 걸쳐 점진적으로 누적되는 분류 성능이 뛰어난, 그러나 산산이 찢어진 시각적 단서를 축적한다.
• 다중 수준의 OIM 손실(프레임 수준 및 비디오 수준)을 적용하여 네트워크의 특징 분류 성능을 향상시키기 위해 공동 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 전역 표현이 지역적 특징을 고상관도 및 저상관도 성분으로 분리하는 데 효과적으로 기여할 수 있는가?
• RQ2 양방향 시간 학습이 비디오 시퀀스에서 두드러진 특징과 부차적인 시각적 단서를 모두 향상시키는 데 기여하는가?
• RQ3 상관관계 기반 특징 분리와 상호학습 시간 학습의 통합이 표준 벤치마크에서 뛰어난 성능을 내는가?
• RQ4 비디오 시퀀스 길이가 제안된 GRL 프레임워크의 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 GRL 프레임워크는 세 개의 공개 벤치마크에서 최고 성능을 달성하였으며, MARS 데이터셋에서 mAP 84.8% 및 Rank-1 정확도 91.0%를 기록했다.
• 양방향 시간 학습이 단방향 학습보다 우수한 성능을 보였으며, 앞서서 처리하고 뒤에서 처리하는 방식이 함께 작용함으로써 강건성과 특징 분류 성능을 향상시킨다.
• 시퀀스 길이를 늘릴수록 T=8까지 성능 향상이 이루어지나, 이후에는 학습 효율성이 떨어지므로 최적의 시퀀스 길이가 존재함을 시사한다.
• 다중 수준의 OIM 손실(프레임 수준 및 비디오 수준)을 적용함으로써 단일 수준의 감독보다 mAP 1.3% 향상되었으며, 계층적 최적화의 유용성을 확인한다.
• 시각화 결과는 고상관도 맵이 주요 신체 부위(예: 상체)를 강조하는 반면, 누적된 저상관도 특징은 가방이나 신발과 같은 비연속적이지만 의미 있는 단서를 포착함을 확인한다.
• 이 방법은 시간적으로 일치하는 두드러진 특징과 공간적으로 분리된 미세한 단서를 효과적으로 포착하여 이중 경로 학습 전략의 타당성을 입증한다.