[논문 리뷰] Spatial-Temporal Correlation and Topology Learning for Person Re-Identification in Videos

Jiawei Liu, Zheng-Jun Zha외 3명|arXiv (Cornell University)|2021. 04. 15.

Video Surveillance and Tracking Methods참고 문헌 49인용 수 9

한 줄 요약

이 논문은 다중 해상도 부분 특징을 그래프 노드로 모델링하고, 맥락 강화된 토폴로지로 다중 척도 및 다중 시공간 의존성을 포착하는 영상 기반 인물 재식별을 위한 공간-시간 상관관계 및 토폴로지 학습(CTL) 프레임워크를 제안한다. 3D 그래프 컨볼루션과 다중 척도 그래프 컨볼루션을 통합함으로써 MARS 및 iLIDS-VID에서 최신 기준 성능을 달성하였으며, MARS에서 91.4%의 랭크-1 정확도와 86.7%의 mAP를 기록하였다.

ABSTRACT

Video-based person re-identification aims to match pedestrians from video sequences across non-overlapping camera views. The key factor for video person re-identification is to effectively exploit both spatial and temporal clues from video sequences. In this work, we propose a novel Spatial-Temporal Correlation and Topology Learning framework (CTL) to pursue discriminative and robust representation by modeling cross-scale spatial-temporal correlation. Specifically, CTL utilizes a CNN backbone and a key-points estimator to extract semantic local features from human body at multiple granularities as graph nodes. It explores a context-reinforced topology to construct multi-scale graphs by considering both global contextual information and physical connections of human body. Moreover, a 3D graph convolution and a cross-scale graph convolution are designed, which facilitate direct cross-spacetime and cross-scale information propagation for capturing hierarchical spatial-temporal dependencies and structural information. By jointly performing the two convolutions, CTL effectively mines comprehensive clues that are complementary with appearance information to enhance representational capacity. Extensive experiments on two video benchmarks have demonstrated the effectiveness of the proposed method and the state-of-the-art performance.

연구 동기 및 목표

• 자세 변화, 가림, 시점 변화가 있는 영상 기반 인물 재식별 환경에서 분류 가능한 표현 학습의 과제를 해결한다.
• 기존 방법이 시간적 또는 공간적 관계만 모델링하거나 고정된 부분 분할 및 신뢰할 수 없는 관절점 추정에 의존하는 한계를 극복한다.
• 다양한 척도와 시간 프레임에서 신체 부위 간의 계층적 공간-시간 의존성과 구조적 정보를 포착한다.
• 그래프 기반 학습을 통해 다중 척도 및 다중 시공간 정보를 동시에 모델링하여 국소적 특징의 강건성과 정렬성을 향상시킨다.
• 전역 맥락과 신체 구조적 연결을 통합하여 그래프 구조의 정밀도를 향상시키는 맥락 강화 토폴로지를 개발한다.

제안 방법

• 세 가지 척도(세밀, 중간, 거친)에서 의미적 국소적 특징을 추출하기 위해 CNN 백본과 관절점 추정기 사용을 통해 그래프 노드로 설정한다.
• 전역 맥락적 신호와 신체 부위 간 물리적 연결을 조합한 맥락 강화 토폴로지를 사용하여 다중 척도 그래프를 구성한다.
• 각 척도 내에서 공간 및 시간 차원을 통해 정보를 전파하기 위해 3D 그래프 컨볼루션(3D-GCL)을 적용한다.
• 다른 척도 수준 간의 특징을 전달하고 융합하기 위해 다중 척도 그래프 컨볼루션(CS-GCL)을 도입하여 상호 보완적 정보 탐색을 향상시킨다.
• 표현 능력과 최적화 안정성의 균형을 위해 수신 필드 크기 τ=3인 이중 3D-GCL을 사용한다.
• 3D-GCL과 CS-GCL을 함께 최적화하여 복잡한 공간-시간 의존성과 구조적 패턴을 포착함으로써 특징 표현을 정교화한다.

Figure 1: Three example video sequences on MARS and iLIDS-VID datasets with partial occlusions, inaccurate detection and viewpoint variation.

실험 결과

연구 질문

• RQ1 자세 변화와 가림에 대해 강건성을 향상시키기 위해 다중 척도 국소적 특징을 효과적으로 모델링하는 방법은 무엇인가?
• RQ2 맥락 강화 토폴로지는 신체 부위 간 내재된 공간-시간 연결성을 어느 정도 향상시킬 수 있는가?
• RQ3 3D 그래프 컨볼루션과 다중 척도 그래프 컨볼루션을 함께 적용하면 공간, 시간, 척도 전반의 계층적 의존성을 포착함으로써 표현 능력을 향상시킬 수 있는가?
• RQ4 다른 척도 수준에서 유래한 보완적 특징의 통합은 전체 재식별 정확도에 어떤 영향을 미치는가?
• RQ5 최적의 성능을 얻기 위해 필요한 하이퍼파rameter 설정(예: 레이어 수, 수신 필드 크기)은 무엇인가?

주요 결과

• CTL은 MARS 데이터셋에서 91.4%의 랭크-1 정확도와 86.7%의 mAP를 기록하여 새로운 최신 기준 성능을 달성하였다.
• 제거 실험 결과, 맥락 강화 토폴로지, 3D-GCL, CS-GCL 각각의 구성 요소가 성능 향상에 점진적으로 기여하며, 전체 모델은 베이스라인 대비 mAP에서 +2.8% 향상된 성능을 보였다.
• 3D-GCL의 수신 필드 크기 τ=3이 최적의 성능을 내며, 더 큰 이웃(τ=5)은 관련 없는 시간적 노드에서 유래한 노이즈로 인해 성능이 저하됨을 확인하였다.
• 이중 레이어 CS-GCL은 성능 저하를 유발함을 확인하였으며, 이는 중복된 특징 융합이 표현 능력을 해칠 수 있음을 시사함. 따라서 단일 레이어 CS-GCL이 최적임을 확인하였다.
• Grad-CAM 시각화 결과, CTL은 가림이나 시점 변화가 있는 상황에서도 프레임 간에 정렬된 분류 가능한 특징을 학습하고 있음을 확인하였다.
• 검색 결과는 랭크-5 결과가 모두 정확함을 보여주며, 이는 오차 정렬과 시각적 변형에 대해 강건함을 입증한다.

Figure 2: The overall architecture of the proposed CTL. It consists of a backbone network with a key-points estimator, a context block, multiple 3D graph convolution layers (3D-GCLs), multiple cross-scale graph convolution layers (CS-GCLs) and a fusion block.