[논문 리뷰] Pose-driven Deep Convolutional Model for Person Re-identification

Chi Su, Jianing Li외 4명|arXiv (Cornell University)|2017. 09. 25.

Video Surveillance and Tracking Methods참고 문헌 32인용 수 38

한 줄 요약

이 논문은 사람 재식별을 위한 포즈 기반 딥 컨volutional(Pose-driven Deep Convolutional, PDC) 모델을 제안하며, 특징 임bedding 서넷(FEN)을 통해 전역 및 국소 신체 부위를 정규화함으로써 포즈에 강인한 특징을 학습한다. 특징 가중치 서넷(FWN)은 전역 및 국소 특징을 적응적으로 융합하여 Market-1501에서 88.70%의 랭크-1 정확도와 VIPeR에서 51.27%의 성능을 달성하며 최신 기술(SOTA)을 초월한다.

ABSTRACT

Feature extraction and matching are two crucial components in person Re-Identification (ReID). The large pose deformations and the complex view variations exhibited by the captured person images significantly increase the difficulty of learning and matching of the features from person images. To overcome these difficulties, in this work we propose a Pose-driven Deep Convolutional (PDC) model to learn improved feature extraction and matching models from end to end. Our deep architecture explicitly leverages the human part cues to alleviate the pose variations and learn robust feature representations from both the global image and different local parts. To match the features from global human body and local body parts, a pose driven feature weighting sub-network is further designed to learn adaptive feature fusions. Extensive experimental analyses and results on three popular datasets demonstrate significant performance improvements of our model over all published state-of-the-art methods.

연구 동기 및 목표

• 특징 학습과 매칭 성능을 떨어뜨리는 큰 포즈 변형과 시야 차이 문제를 해결한다.
• 기존 딥 러닝 재식별 방법에서의 수작업 특징 및 엔드 투 엔드 학습이 불가능한 한계를 극복한다.
• 인간 신체 부위 단서와 포즈 추정을 활용하여 특징 표현 학습을 향상시킨다.
• 전역 및 국소 특징 학습을 포즈 정규화와 함께 동시 최적화하는 엔드 투 엔드 학습 가능한 아키텍처를 설계한다.
• 구분 능력 있는 특징을 가중치 부여하여 유사도 측정을 향상시키는 적응형 특징 융합 메커니즘을 개발한다.

제안 방법

• 14개의 신체 관절을 검출하고, 이를 통해 포즈 변환 네트워크(PTN)를 이용해 국소 신체 부위를 자동으로 자르고 정규화하는 특징 임bedding 서넷(FEN)을 제안한다.
• 국소 신체 부위에 아핀 변환을 적용하여 정규화된, 포즈에 강인한 공간으로 정렬함으로써 특징 임bedding 성능을 향상시킨다.
• 사람 식별 라벨이 부여된 전체 이미지에 대해 소프트맥스 손실을 사용하여 전역 특징을 학습한다.
• 전역 및 국소 특징의 적응형 융합 가중치를 학습하기 위해 비선형 완전 연결층 하나를 포함한 특징 가중치 서넷(FWN)을 도입한다.
• 전역 및 국소 특징 학습과 특징 융합을 동시에 최적화하여 전체 PDC 모델을 엔드 투 엔드로 학습한다.
• FEN이 전역 및 국소 특징을 처리하는 두 개의 스트림 아키텍처를 사용하며, FWN은 입력 포즈와 외관에 기반해 동적 융합 가중치를 학습한다.

실험 결과

연구 질문

• RQ1 명시적인 인간 신체 부위 및 포즈 변형 모델링이 사람 재식별에서 특징 강건성 향상에 기여하는가?
• RQ2 국소 신체 부위의 포즈 정규화가 특징 표현 품질과 재식별 정확도에 어떤 영향을 미치는가?
• RQ3 학습된 가중치 메커니즘을 사용한 적응형 특징 융합이 고정 또는 단순 평균 융합 전략을 능가하는가?
• RQ4 사전 처리된 또는 수작업으로 자른 부위를 사용하는 방법과 비교해 포즈 기반 아키텍처의 엔드 투 엔드 학습이 더 높은 성능을 내는가?
• RQ5 특징 가중치 네트워크의 레이어 수가 성능와 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• PDC 모델은 Market-1501에서 88.70%의 랭크-1 정확도를 달성하여 모든 발표된 SOTA 방법을 능가한다.
• CUHK03에서는 라벨링 프로토콜에서 88.18%의 랭크-1 정확도를, 탐지 프로토콜에서는 88.70%를 기록한다.
• VIPeR에서는 51.27%의 랭크-1 정확도를 달성하여 대부분의 베이스라인을 능가하며, 더 큰 학습 세트를 사용한 Spindle를 제외하고는 두 번째로 높은 성능이다.
• 비선형성 하나를 가진 FWN(W1)이 가장 뛰어난 성능을 보였으며, 비선형 없음(W0)과 더 깊은 변형(W2–W4)보다 성능이 떨어진다.
• 정성적 예시에서는 FWN이 노이즈 특징을 효과적으로 억제하고 융합 표현에서 구분 능력 있는 특징을 강화함을 보여준다.
• 제거 분석 결과, FEN을 통한 포즈 정규화와 FWN을 통한 적응형 융합이 성능 향상에 필수적임을 확인하였으며, 이 둘의 조합이 가장 강력한 성능을 낸다.