[논문 리뷰] Person re-identification with fusion of hand-crafted and deep pose-based body region features

Jubin Johnson, Shunsuke Yasugi외 3명|arXiv (Cornell University)|2018. 03. 27.

Video Surveillance and Tracking Methods참고 문헌 1인용 수 10

한 줄 요약

이 논문은 전역 특징 백본을 사용하여 수작업으로 만든 특징(LONGO)과 자세 유도 지역 특징(머리, 몸통, 다리)의 특징을 융합하는 사람 재식별 방법을 제안한다. 자세 추정을 활용해 지역 특징를 정렬하고, 분류 가능한 부분공간에서 거리 측정 학습을 적용함으로써, 네 가지 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 알려지지 않은 신원에 대한 제로샷 일반화 능력을 크게 향상시킨다.

ABSTRACT

Person re-identification (re-ID) aims to accurately re- trieve a person from a large-scale database of images cap- tured across multiple cameras. Existing works learn deep representations using a large training subset of unique per- sons. However, identifying unseen persons is critical for a good re-ID algorithm. Moreover, the misalignment be- tween person crops to detection errors or pose variations leads to poor feature matching. In this work, we present a fusion of handcrafted features and deep feature representa- tion learned using multiple body parts to complement the global body features that achieves high performance on un- seen test images. Pose information is used to detect body regions that are passed through Convolutional Neural Net- works (CNN) to guide feature learning. Finally, a metric learning step enables robust distance matching on a dis- criminative subspace. Experimental results on 4 popular re-ID benchmark datasets namely VIPer, DukeMTMC-reID, Market-1501 and CUHK03 show that the proposed method achieves state-of-the-art performance in image-based per- son re-identification.

연구 동기 및 목표

• 제로샷 학습 환경에서 알려지지 않은 신원에 대한 사람 재식별 문제를 해결하기 위해.
• 자세 변화, 검출 오류, 사람 영역의 정렬 오류로 인한 성능 저하를 완화하기 위해.
• 머리, 몸통, 다리 영역에서 유도된 국소화된 자세 기반 특징과 전역 딥 특징을 융합하여 특징 표현을 향상시키기 위해.
• 수작업 특징(LONGO)과 딥 특징을 조합하고, 거리 측정 학습을 적용하여 도메인 간 일반화 능력을 향상시키기 위해.
• 세분화된 마이크로 영역보다 거시적 신체 부위(머리, 몸통, 다리)가 특징 융합에서 더 우수한 성능을 내는지 입증하기 위해.

제안 방법

• 자세 추정을 사용해 핵심 신체 부위(머리, 몸통, 다리)를 검출하고 자르며, 국소화된 특징 학습을 유도한다.
• 딥 컨volution 네트워크 백본(Inception 또는 ResNet-50)이 각 신체 부위와 전체 이미지에서 특징를 추출한다.
• 세 신체 부위에서 추출한 특징와 전체 이미지의 특징를 연결하여 통합 표현을 형성한다.
• 수작업 특징인 LOMO 특징를 딥 특징와 융합하여 분류 능력을 향상시킨다.
• 거리 매칭 성능 향상을 위해 분류 가능한 부분공간을 학습하기 위해 거리 측정 학습(XQDA) 단계를 적용한다.
• 딥 러닝과 수작업 특징의 장점을 결합하기 위해 별도의 학습 전략을 사용한다.

실험 결과

연구 질문

• RQ1 자세 유도 지역 특징에서 유도된 수작업 특징와 딥 특징의 융합이 알려지지 않은 신원에 대한 재식별 성능을 향상시키는가?
• RQ2 신체 부위의 해상도(거시적 vs. 미세적) 선택이 사람 재식별에서 특징 융합 성능에 어떤 영향을 미치는가?
• RQ3 자세 기반으로 신체 부위를 국소화하면 자세 변화와 검출 오류가 특징 매칭에 미치는 영향을 줄일 수 있는가?
• RQ4 전역 특징과 국소 특징의 조합이 도메인 이동이 있는 데이터셋 간에 더 잘 일반화되는가?
• RQ5 제안된 융합 전략은 mAP 및 Rank-1 정확도 측면에서 최신 기술 수준의 방법들과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 Market-1501에서 Rank-1 정확도 88.3%와 mAP 69.5%를 달성하여 전역 특징과 SpindleNet의 세분화된 융합보다 뛰어난 성능을 보였다.
• LOMO와 XQDA를 제안된 방법에 추가하면 VIPeR에서 mAP 91.1%와 Rank-1 63.3%로 성능이 향상되어 모든 베이스라인을 초월했다.
• 세 개의 거시적 신체 부위(머리, 몸통, 다리)만을 사용할 경우, 일곱 개의 미세 영역을 사용하는 것보다 더 뛰어난 성능을 보였으며, 전역 특징보다 mAP와 Rank-1에서 각각 2% 향상되었다.
• DukeMTMC-reID에서 제안된 융합 프레임워크를 사용할 경우, mAP 83.5%와 Rank-1 66.1%로 최신 기술 수준 성능을 달성했다.
• 정성적 결과는 심각한 자세 변화, 가림, 단일 샷 설정에서도 강력한 검색 성능를 보였으며, 특히 VIPeR와 CUHK03에서 두드러졌다.
• ResNet-50가 이 설정에서 Inception보다 성능이 떨어지지 않아, 더 깊은 네트워크가 반드시 재식별에 더 나은 일반화 능력을 제공하지는 않는다는 것을 시사한다.