[논문 리뷰] Temporal Knowledge Propagation for Image-to-Video Person Re-identification

Xinqian Gu, Bingpeng Ma외 3명|arXiv (Cornell University)|2019. 08. 11.

Video Surveillance and Tracking Methods참고 문헌 35인용 수 6

한 줄 요약

이 논문은 영상 표현 네트워크에서 이미지 표현 네트워크로 시간적 지식을 전이하는 Temporal Knowledge Propagation (TKP)를 제안한다. 학습 중 공유된 공간에서 이미지 특징이 영상 특징과 일치하도록 강제하여, 이미지 특징의 강건성 향상과 모odal 불균형 감소를 달성하며, MARS에서 75.6%의 top-1 정확도로 최신 기술 수준을 달성한다.

ABSTRACT

In many scenarios of Person Re-identification (Re-ID), the gallery set consists of lots of surveillance videos and the query is just an image, thus Re-ID has to be conducted between image and videos. Compared with videos, still person images lack temporal information. Besides, the information asymmetry between image and video features increases the difficulty in matching images and videos. To solve this problem, we propose a novel Temporal Knowledge Propagation (TKP) method which propagates the temporal knowledge learned by the video representation network to the image representation network. Specifically, given the input videos, we enforce the image representation network to fit the outputs of video representation network in a shared feature space. With back propagation, temporal knowledge can be transferred to enhance the image features and the information asymmetry problem can be alleviated. With additional classification and integrated triplet losses, our model can learn expressive and discriminative image and video features for image-to-video re-identification. Extensive experiments demonstrate the effectiveness of our method and the overall results on two widely used datasets surpass the state-of-the-art methods by a large margin. Code is available at: https://github.com/guxinqian/TKP

연구 동기 및 목표

• 이미지-영상 인물 재식별(I2V Re-ID)에서 정적 이미지와 영상 특징 간의 정보 비대칭 문제를 해결한다.
• 영상 시퀀스에서 학습한 시간적 지식을 전이하여 이미지 특징 표현을 향상시킨다.
• 공유된 특징 공간에서 특징 표현을 정렬함으로써 이미지와 영상 특징 간 성능 격차를 줄인다.
• 영상의 시간적 맥락을 활용하여 시각적 변형에 대한 이미지 특징의 강건성을 향상시킨다.
• 이미지 및 영상 네트워크의 공동 최적화를 통해 이미지-영상 재식별 벤치마크에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 비디오 표현 네트워크에 비국소 블록을 사용하여 영상 프레임 간의 장거리 시간적 의존성을 모델링한다.
• 공유된 특징 공간에서 영상 네트워크의 출력과 일치하는 특징을 예측하도록 이미지 표현 네트워크를 훈련시킨다.
• 백프로파게이션을 통해 영상 특징에서 이미지 특징으로 시간적 지식을 전파하는 지식 정착 유사 손실(TKP 손실)을 적용한다.
• 분류 손실과 통합 트리플릿 손실을 통합하여 특징의 구분 능력과 일반화 능력을 향상시킨다.
• TKP 손실에서 기울기 흐름을 두 네트워크로 허용하여 이미지 및 영상 표현을 공동 최적화한다.
• 시간 평균 풀링과 비국소 연산을 통합하여 지식 전이를 위한 강건한 영상 특징을 추출한다.

실험 결과

연구 질문

• RQ1 영상 표현에서 유도된 시간적 지식이 정적 이미지 표현으로 효과적으로 전이되어 이미지-영상 재식별(I2V Re-ID) 성능을 향상시킬 수 있는가?
• RQ2 영상 네트워크에서 이미지 네트워크로의 지식 정착이 이미지와 영상 특징 간의 정보 비대칭을 줄이는가?
• RQ3 비국소 블록의 포함 여부가 이미지-영상 재식별에서 시간적 지식 전파 성능에 어떤 영향을 미치는가?
• RQ4 TKP 손실의 기울기 흐름을 영상 네트워크로 전파할 경우 전체 성능과 특징 품질에 어떤 영향을 미치는가?
• RQ5 예를 들어 통합 트리플릿 손실과 같은 다양한 손실 함수는 최종 재식별 정확도에 어떤 영향을 미치는가?

주요 결과

• MARS 데이터셋에서 TKP는 top-1 정확도 75.6%를 기록하여 기준 모델(67.1%) 대비 8.5% 향상된 성능을 보였다.
• 이 방법은 최신 기술 수준의 방법들보다 크게 앞서며, MARS에서 mAP가 65.1%에 이르렀다.
• 비국소 블록을 제거하면 성능 저하가 발생하여 장거리 시간적 의존성을 모델링하는 것이 효과적인 지식 전이에 필수적임을 시사한다.
• TKP 손실에서 영상 네트워크로의 기울기 흐름을 금지하면 V2V Re-ID 성능이 향상되며, 이는 TKP 손실 최적화 시 영상 표현이 악화됨을 시사한다.
• 통합 트리플릿 손실이 I2V 전용 트리플릿 손실보다 우수하며, 최고의 성능은 T=4의 영상 클립 크기에서 달성된다.