[논문 리뷰] Horizontal Pyramid Matching for Person Re-identification

Yang Fu, Yunchao Wei외 6명|arXiv (Cornell University)|2018. 04. 14.

Video Surveillance and Tracking Methods참고 문헌 32인용 수 59

한 줄 요약

가로형 피라미드 매칭(HPM)을 도입하여 평균 풀링과 맥스 풀링을 모두 사용해 부분적 다중 스케일의 가로형 부분 특징을 학습하고, 후처리 없이 최첨단 재식별 성능을 달성한다.

ABSTRACT

Despite the remarkable recent progress, person re-identification (Re-ID) approaches are still suffering from the failure cases where the discriminative body parts are missing. To mitigate such cases, we propose a simple yet effective Horizontal Pyramid Matching (HPM) approach to fully exploit various partial information of a given person, so that correct person candidates can be still identified even even some key parts are missing. Within the HPM, we make the following contributions to produce a more robust feature representation for the Re-ID task: 1) we learn to classify using partial feature representations at different horizontal pyramid scales, which successfully enhance the discriminative capabilities of various person parts; 2) we exploit average and max pooling strategies to account for person-specific discriminative information in a global-local manner. To validate the effectiveness of the proposed HPM, extensive experiments are conducted on three popular benchmarks, including Market-1501, DukeMTMC-ReID and CUHK03. In particular, we achieve mAP scores of 83.1%, 74.5% and 59.7% on these benchmarks, which are the new state-of-the-arts. Our code is available on Github

연구 동기 및 목표

• 부분적이거나 누락된 신체 부위 및 정렬 불일치에서도 강인한 Re-ID를 동기 부여한다.
• 수평 피라미드 스케일을 통해 부분 정보를 활용하는 간단하고 엔드투엔드 프레임워크를 제안한다.
• 전역 평균 풀링과 전역 맥스 풀링을 결합하여 맥락적 신호와 식별 가능 신호를 모두 포착한다.
• Market-1501, DukeMTMC-ReID, CUHK03에서 포스트-프로세싱 없이 최첨단 성능을 입증한다.

제안 방법

• 특징 맵을 수평으로 여러 피라미드 스케일로 분할한다(HPP).
• 각 피라미드 스케일의 각 수평 bin에 대해 독립적인 분류기를 학습한다.
• 각 파티션에서 전역 평균 풀링과 전역 맥스 풀링을 모두 사용하여 G_{i,j} = avgpool(F_{i,j}) + maxpool(F_{i,j})를 얻는다.
• 각 G_{i,j}를 256-d로 컨브 레이어를 통해 축소하여 H_{i,j}를 형성한 뒤, bin별 분류기에 입력한다.
• 피라미드 BIN과 스케일 전체에 걸친 크로스 엔트로피 손실의 합으로 학습한다.
• 테스트 시 모든 스케일의 모든 bin의 특징을 연결하여 최종 표현으로 사용한다.

실험 결과

연구 질문

• RQ1 인물 재식별에서 가로 다중 스케일 분할이 정렬 불량 및 신체 부위 누락에 대한 강인성을 향상시키나?
• RQ2 각 파티션 내에서 평균 풀링과 맥스 풀링을 결합하면 식별력이 향상되나?
• RQ3 경쟁력 있는 엔드 투 엔드 재식별 성능을 위해 최적의 피라미드 스케일 및 풀링 구성이 무엇인가?
• RQ4 HPM은 포스트-프로세싱 없이 Market-1501, DukeMTMC-ReID, CUHK03에서 최신 방법과 어떻게 비교되는가?

주요 결과

모델	Market-1501_R1	Market-1501_R5	Market-1501_mAP	DukeMTMC-ReID_R1	DukeMTMC-ReID_mAP	CUHK03_R1	CUHK03_mAP
PCB	92.4	97.0	97.9	77.3	81.8	61.3	54.2
PCB+RPP	93.8	97.5	98.5	81.6	83.3	63.7	57.5
HPM(ours)	94.2	97.5	98.5	83.1	86.6	63.9	57.5

• HPM은 Market-1501에서 mAP 83.1%, DukeMTMC-ReID에서 74.5%, CUHK03에서 59.7%를 달성하며 새로운 프로토콜로(당시의 최첨단)이다.
• HPM은 Market-1501 및 DukeMTMC-ReID에서 post-processing 없이 mAP 및 Rank-1에서 PCB 및 PCB+RPP 베이스라인을 능가한다.
• 네 가지 피라미드 스케일과 맥스풀링과 평균풀링의 혼합은 글로벌과 로컬 특징 사이의 최적의 균형을 제공한다.
• 맥스 풀링은 일반적으로 평균 풀링보다 더 나은 결과를 낳고, 두 풀링 전략의 결합은 추가 이익을 준다.
• 제거 연구에서 네 가지 피라미드 스케일이 글로벌 및 로컬 정보를 균형 있게 다루며, 더 많은 스케일은 일관된 개선을 제공하지 않고 비용을 증가시킨다.