[논문 리뷰] Pose-guided Visible Part Matching for Occluded Person ReID

Shang Gao, Jingya Wang외 2명|arXiv (Cornell University)|2020. 04. 01.

Video Surveillance and Tracking Methods참고 문헌 32인용 수 27

한 줄 요약

이 논문은 그래프 매칭 기반의 가짜 레이블링을 통해 외부 애너테이션 없이 가시성 점수를 추출함으로써, 복합적인 가림 상황에서의 인물 재식별을 위한 자기지도 학습 방법인 자세 유도 가시 부위 매칭(PVPM)을 제안한다. 이 방법은 자세 유도 주의와 부위 가시성 예측을 동시에 학습하며, 세 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Occluded person re-identification is a challenging task as the appearance varies substantially with various obstacles, especially in the crowd scenario. To address this issue, we propose a Pose-guided Visible Part Matching (PVPM) method that jointly learns the discriminative features with pose-guided attention and self-mines the part visibility in an end-to-end framework. Specifically, the proposed PVPM includes two key components: 1) pose-guided attention (PGA) method for part feature pooling that exploits more discriminative local features; 2) pose-guided visibility predictor (PVP) that estimates whether a part suffers the occlusion or not. As there are no ground truth training annotations for the occluded part, we turn to utilize the characteristic of part correspondence in positive pairs and self-mining the correspondence scores via graph matching. The generated correspondence scores are then utilized as pseudo-labels for visibility predictor (PVP). Experimental results on three reported occluded benchmarks show that the proposed method achieves competitive performance to state-of-the-art methods. The source codes are available at https://github.com/hh23333/PVPM

연구 동기 및 목표

• 다양한 가림 요소에 의해 전역 특징이 손상되는 가림이 있는 인물 재식별 문제를 해결한다.
• 도메인 편향이 존재하는 외부 애너테이션(예: 자세 또는 마스크 데이터)에 의존하는 기존 방법의 한계를 극복한다.
• 분류 가능한 부위 특징과 가시성 예측을 동시에 최적화하는 통합형 엔드 투 엔드 프레임워크를 개발한다.
• 양성 쌍 내의 내재적 대응 관계를 기반으로 그래프 매칭을 활용해 가시성 예측기의 자기지도 학습을 가능하게 한다.

제안 방법

• 자세 랜드마크를 사용해 부위 특징를 풀링하는 자세 유도 주의(PGA) 모듈을 도입하여 분류 가능한 국소 표현을 향상시킨다.
• 각 신체 부위가 가려졌는지 여부를 예측하는 자세 유도 가시성 예측기(PVP)를 제안한다.
• 양성 쌍에서 특징 대응 문제를 그래프 매칭을 통해 해결함으로써 가시성 예측을 위한 가짜 레이블을 생성한다.
• 그래프 매칭에서 유도된 대응 점수를 supervision 신호로 사용해 가시성 예측기를 자기지도 학습 방식으로 훈련시킨다.
• 가시성 가중 거리를 활용해 부위 수준의 특징를 통합하여 최종 매칭 점수를 계산한다.
• 삼중체 순서 정렬과 가시성 예측을 병합한 다중 과제 손실을 통해 전체 네트워크를 엔드 투 엔드로 최적화한다.

실험 결과

연구 질문

• RQ1 그래프 매칭 기반의 대응 점수를 활용한 자기지도 학습이 진정한 애너테이션 없이도 가시성 예측기를 효과적으로 훈련시킬 수 있는가?
• RQ2 자세 유도 주의는 외관 기반 또는 균일한 분할 방법에 비해 가림이 있는 ReID에서 특징의 분류 능력을 어떻게 향상시키는가?
• RQ3 학습된 가시성 점수의 통합이 가림이 있는 ReID 벤치마크에서 매칭 정확도를 향상시키는가?
• RQ4 정규화 계수 λ와 부위 수 Np와 같은 하이퍼파라미터에 대해 성능가 얼마나 민감한가?

주요 결과

• Occluded-REID 데이터셋에서 PVPM은 66.8% mAP를 달성하여 기준 모델 RPP(55.8%)와 R+S(51.8%)를 상당한 격차로 앞서며 우수한 성능을 보였다.
• Partial-REID에서 PVPM은 75.3% mAP를 기록하여 RPP(63.7%)와 R+S(59.7%)를 초월하며 부분적 가림 상황에서도 뛰어난 일반화 능력을 입증했다.
• P-DukeMTMC-reID에서 PVPM은 50.1% mAP를 달성하여 RPP(40.4%)와 R+S(35.6%)보다 뚜렷이 향상되었으며, 복잡한 가림 상황에서도 강건함을 입증했다.
• 절단 실험 결과, 부위 수(Np)를 늘릴수록 4개까지 성능 향상이 이루어지나, 이후 과다 분할로 인해 성능이 저하됨을 확인했다.
• 최적의 정규화 계수 λ = 0.9에서 최고 성능를 기록하여, 이 값이 분류 능력과 가시성 예측 정확도 사이의 균형을 맞추는 데 핵심적인 역할을 함을 확인했다.
• 시각화 결과 자세 유도 주의는 가리지 않은 영역에 집중하는 반면, 외관 기반 방법은 새로운 가림 패tern에 적응하지 못함을 확인했다.