[논문 리뷰] Temporal Complementary Learning for Video Person Re-Identification

Ruibing Hou, Hong Chang외 3명|arXiv (Cornell University)|2020. 07. 18.

Video Surveillance and Tracking Methods참고 문헌 46인용 수 15

한 줄 요약

이 논문은 영상 인물 재식별을 위한 시간적 보완 학습 네트워크(TCLNet)를 제안한다. TSE(시간적 주목력 제거) 모듈을 통해 프레임 간에 점진적으로 보완되는 특징을 추출하고, TSB(시간적 주목력 강화) 모듈을 통해 주목력 있는 특징을 유지 및 강화함으로써 특징의 다양성과 표현 능력을 향상시킨다. TCLNet는 MARS, DukeMTMC, Market-1501 등 여러 벤치마크에서 최신 기준 성능(SOTA)을 달성하여, 최상위 정확도에서 최대 1.2% 향상되고 mAP에서 2.7% 향상되었다.

ABSTRACT

This paper proposes a Temporal Complementary Learning Network that extracts complementary features of consecutive video frames for video person re-identification. Firstly, we introduce a Temporal Saliency Erasing (TSE) module including a saliency erasing operation and a series of ordered learners. Specifically, for a specific frame of a video, the saliency erasing operation drives the specific learner to mine new and complementary parts by erasing the parts activated by previous frames. Such that the diverse visual features can be discovered for consecutive frames and finally form an integral characteristic of the target identity. Furthermore, a Temporal Saliency Boosting (TSB) module is designed to propagate the salient information among video frames to enhance the salient feature. It is complementary to TSE by effectively alleviating the information loss caused by the erasing operation of TSE. Extensive experiments show our method performs favorably against state-of-the-arts. The source code is available at https://github.com/blue-blue272/VideoReID-TCLNet.

연구 동기 및 목표

• 연속된 영상 프레임에서 추출된 특징의 중복 문제를 해결하기 위해, 모델이 자주 같은 국소 부위에 주목하는 것을 방지하기 위함.
• 프레임 간에 다양한 보완 시각적 단서를 발견하여 사람의 신원을 더 완전하고 구별력 있게 표현하는 데 목적이 있음.
• TSE 모듈에서 발생하는 주목력 제거로 인한 정보 손실을 보완하기 위해, 영상 전반에 걸쳐 주목력 있는 특징을 강화함으로써 성능을 향상시키는 것.
• 기존 CNN에 모듈을 삽입함으로써 아키텍처의 대대적 개선 없이도 효과적인 보완 특징 학습을 가능하게 하는 것.

제안 방법

• 시간적 주목력 제거(TSE) 모듈은 이전 프레임에서 활성화된 특징을 제거하는 연산을 통해, 이후 학습자가 새로운 보완 부위를 발견하도록 유도한다.
• TSE는 순서대로 정렬된 학습자들로 구성되며, 각 학습자는 이전 학습자가 주목한 영역을 제거한 후 해당 프레임에서 특징을 추출함으로써 특징의 다양성을 증진시킨다.
• 시간적 주목력 강화(TSB) 모듈은 시간적 신호를 활용해 주목력 있는 특징을 프레임 간에 전파함으로써 가장 구별력 있는 부위의 표현 능력을 향상시킨다.
• TSB는 주목력 있는 정보만 선택적으로 전파하므로 TSE와 보완적이며, 노이즈나 오염 요소 유입 위험을 줄인다.
• TSE 및 TSB 모듈는 플러그 앤 플레이 방식으로, 표준 재식별 손실 함수를 사용하는 엔드 투 엔드 학습에 적합하게 기존 CNN 백본에 삽입 가능하다.
• 본 연구는 mAP 및 최상위 정확도를 평가 지표로 사용하여, MARS, DukeMTMC, Market-1501 세 가지 표준 벤치마크에서 평가되었다.

실험 결과

연구 질문

• RQ1 영상 프레임 간에 이전에 활성화된 특징을 점진적으로 제거하는 방식이 인물 재식별에서 학습된 표현의 다양성과 구별력 향상에 기여하는가?
• RQ2 주목력 있는 특징을 프레임 간에 전파하는 방식이 가장 구별력 있는 시각적 단서의 강건성과 표현 능력을 향상시키는가?
• RQ3 보완 학습 전략은 표준 데이터 증강 기법이나 주목력 기반 풀링 기법과 비교해 성능 및 특징 다양성 측면에서 어떻게 다른가?
• RQ4 제안된 TSE 및 TSB 모듈를 효과적으로 조합하여 기존 최신 기준 기법들을 초월할 수 있는가?

주요 결과

• TCLNet는 MARS 벤치마크에서 최상위 정확도 88.8%와 mAP 83.0%를 기록하여, 이전 최고 성능(SOTA)보다 최상위 정확도 1.2% 향상되고 mAP 2.7% 향상되었다.
• TSE 모듈만으로도 기준 모델 대비 mAP 2.7% 향상되고 최상위 정확도 1.3% 향상되었으며, 무작위 제거 및 DropBlock보다 유의미하게 뛰어난 성능을 보였다.
• 비국소(NL) 모듈과 조합했을 때 TCLNet(TSE+TSB)는 base.+TSE+NL보다 최상위 정확도 1.2% 높게 기록하여, TSB가 다른 특징 강화 기법과 보완적임을 입증했다.
• TSB 모듈는 3D 컨볼루션 및 비국소 기법보다 정확도와 효율성 측면에서 뛰어나며, 파라미터 수가 적고 저품질 프레임에 더 강건한 것으로 나타났다.
• t-SNE 시각화 결과 TCLNet가 더 분리 가능한 특징 분포를 학습함을 확인하였으며, 특히 유사한 외관(예: 파란 셔츠)을 가진 신원에 대해 특징 겹침을 줄였다.
• 특징 맵 시각화 결과 TSE가 서로 다른 프레임에서 다른 신체 부위(예: 상체 대비 하체)에 주목하도록 유도하여 구별력 향상을 이룬 것으로 나타났다.