[논문 리뷰] Graph Correspondence Transfer for Person Re-identification

Qin Zhou, Heng Fan외 5명|arXiv (Cornell University)|2018. 04. 01.

Video Surveillance and Tracking Methods인용 수 9

한 줄 요약

이 논문은 훈련 중에 그래프 매칭을 통해 패치 단위의 대응 템플릿을 학습하고, 유사한 자세 구성이 있는 테스트 쌍에 이러한 대응 관계를 전이하는 새로운 인물 재식별 방법인 그래프 대응 전이(GCT)를 제안한다. GCT는 맥락 인지 그래프 매칭과 대응 전이를 통해 공간적 비일치를 효과적으로 다루어 다섯 가지 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

In this paper, we propose a graph correspondence transfer (GCT) approach for person re-identification. Unlike existing methods, the GCT model formulates person re-identification as an off-line graph matching and on-line correspondence transferring problem. In specific, during training, the GCT model aims to learn off-line a set of correspondence templates from positive training pairs with various pose-pair configurations via patch-wise graph matching. During testing, for each pair of test samples, we select a few training pairs with the most similar pose-pair configurations as references, and transfer the correspondences of these references to test pair for feature distance calculation. The matching score is derived by aggregating distances from different references. For each probe image, the gallery image with the highest matching score is the re-identifying result. Compared to existing algorithms, our GCT can handle spatial misalignment caused by large variations in view angles and human poses owing to the benefits of patch-wise graph matching. Extensive experiments on five benchmarks including VIPeR, Road, PRID450S, 3DPES and CUHK01 evidence the superior performance of GCT model over other state-of-the-art methods.

연구 동기 및 목표

• 큰 시점 및 자세 변화로 인해 발생하는 인물 재식별의 공간적 비일치 문제를 해결한다.
• 전체 특징 매칭 및 부분 기반 방법의 한계를 극복하여 맥락 모델링 기능을 갖춘다.
• 훈련 쌍에서 학습된 대응 템플릿을 자세 구성이 유사한 테스트 쌍으로 전이하는 방법을 개발한다.
• 그래프 매칭에 공간적 및 시각적 맥락을 통합하여 가림 및 외관 변화에 대한 강건성을 향상시킨다.
• 딥 러닝 아키텍처에 의존하지 않고도 뛰어난 재식별 정확도를 달성한다.

제안 방법

• 인물 Re-ID 문제를 오프라인 그래프 매칭 및 온라인 대응 전이 문제로 공식화한다.
• 국소 부분 간 관계를 모델링하기 위해 공간적 및 시각적 맥락을 사용하여 패치 단위의 그래프를 구성한다.
• 다양한 자세-쌍 구성에서 양성 훈련 쌍에 대해 그래프 매칭을 수행하여 대응 템플릿을 학습한다.
• 추론 단계에서 자세-쌍 구성이 가장 유사한 상위-k개의 훈련 쌍을 기준으로 선택한다.
• 선택된 기준에서 학습된 대응 관계를 테스트 쌍으로 전이하여 국소 특징 거리 계산을 수행한다.
• 여러 기준에서의 거리 정보를 종합하여 전체 매칭 점수를 계산하여 재식별을 수행한다.

실험 결과

연구 질문

• RQ1 공간적 및 시각적 맥락을 고려한 그래프 매칭이 큰 자세 및 시점 변화 하에서 인물 Re-ID의 대응 관계 학습에 기여하는가?
• RQ2 유사한 훈련 쌍으로부터 사전에 학습된 대응 관계를 전이함으로써 비정상적인 테스트 쌍에 대한 일반화 성능이 향상되는가?
• RQ3 제안된 방법이 딥 러닝 기반 및 부분 기반 Re-ID 접근법과 비교해 비일치 및 가림 상황을 어떻게 다루는가?
• RQ4 대응 전이에 최적의 기준 수는 얼마이며, 다양한 자세 변동성을 가진 데이터셋 간에 어떻게 달라지는가?
• RQ5 이 방법의 실패 원인은 무엇이며, 심한 자기 가림 상황에서의 성능은 어떠한가?

주요 결과

• CUHK01 데이터셋에서 GCT는 랭크-1 정확도 61.9%를 기록하여 이전 SOTA 방법인 TCP보다 8.2%포인트 높은 성능을 달성했다.
• 3DPES 데이터셋에서는 랭크-1 정확도 81.0%를 기록하여 딥 러닝 기반 방법 외의 기존 방법들을 크게 앞서며, 딥 러닝 기반 기준선 수준의 성능을 확보했다.
• 최적의 기준 수는 데이터셋에 따라 달라졌다: VIPeR는 20개, Road는 5개, PRID450S는 10개, 3DPES는 20개, CUHK01은 20개로, 자세 변동성이 높을수록 더 많은 기준이 필요함을 시사했다.
• GCT는 VIPeR와 CUHK01에서 R=20일 때 가장 뛰어난 성능를 보였고, R=50일 때는 모든 데이터셋에서 성능이 떨어졌으며 VIPeR를 제외한 모든 데이터셋에서 최악의 성능를 기록하여 기준의 질이 수량보다 더 중요함을 확인했다.
• 그래프 매칭의 정규화 효과 덕분에 가림 상황에 강건한 성능를 보였지만, 심한 자기 가림은 여전히 실패 케이스로 남아 있었다.
• 딥 러닝 아키텍처를 사용하지 않음에도 불구하고, GCT는 여러 딥 러닝 기반 모델들을 능가하는 성능를 보이며, 구조화된 대응 관계 학습의 효과성을 입증했다.