[논문 리뷰] Pose Invariant Embedding for Deep Person Re-identification

Liang Zheng, Yujia Huang외 2명|arXiv (Cornell University)|2017. 01. 26.

Video Surveillance and Tracking Methods참고 문헌 23인용 수 178

한 줄 요약

이 논문은 PoseBox 기반 포즈 불변 임베딩(PIE)을 PoseBox Fusion(PBF) 네트워크를 통해 학습하여 원본 이미지, PoseBox, 포즈 추정 신뢰도를 융합하고 포즈와 탐지기 변화 하에서도 사람 재식별을 견고하게 수행한다는 것을 제시한다.

ABSTRACT

Pedestrian misalignment, which mainly arises from detector errors and pose variations, is a critical problem for a robust person re-identification (re-ID) system. With bad alignment, the background noise will significantly compromise the feature learning and matching process. To address this problem, this paper introduces the pose invariant embedding (PIE) as a pedestrian descriptor. First, in order to align pedestrians to a standard pose, the PoseBox structure is introduced, which is generated through pose estimation followed by affine transformations. Second, to reduce the impact of pose estimation errors and information loss during PoseBox construction, we design a PoseBox fusion (PBF) CNN architecture that takes the original image, the PoseBox, and the pose estimation confidence as input. The proposed PIE descriptor is thus defined as the fully connected layer of the PBF network for the retrieval task. Experiments are conducted on the Market-1501, CUHK03, and VIPeR datasets. We show that PoseBox alone yields decent re-ID accuracy and that when integrated in the PBF network, the learned PIE descriptor produces competitive performance compared with the state-of-the-art approaches.

연구 동기 및 목표

• 포즈 변화 및 탐지기 오류로 인한 보행자 정렬 불일치를 해결하고자 한다.
• 포즈를 정규화하는 PoseBox 및 포즈 추정 오차를 완화하는 세 스트림 PoseBox Fusion을 제안한다.
• 표준 벤치마크에서 최첨단 방법과 경쟁할 만큼의 강인한 PIE 디스크리퍼를 학습한다.

제안 방법

• CMP 기반 포즈 추정 및 유사 변환으로 탐지된 신체 관절로부터 PoseBox를 구성하고 세 가지 유형(PoseBox1, PoseBox2, PoseBox3)으로 투영한다.
• PoseBox, 원본 이미지, 14차원 포즈 추정 신뢰 벡터를 입력으로 하는 세 스트림 PoseBox Fusion(PBF) 네트워크를 도입한다; 두 개의 이미지 스트림은 각각의 CNN을 가지며 이들의 출력과 투영된 신뢰 벡터를 최종 FC 계층 전에 연결(concatenate)한다.
• PIE를 융합 후의 완전 연결층(FC) 활성화로 정의한다( AlexNet의 경우 PIE(A, FC7)/PIE(A, FC8), ResNet-50의 경우 PIE(R, Pool5)/PIE(R, FC)).
• 세 가지 입력에 대응하는 소프트맥스 손실의 합으로 학습하고, PIE 임베딩에 ReLU를 적용하며 검색에 유클리드 거리를 사용한다.

실험 결과

연구 질문

• RQ1 PoseBox 기반 정규화가 포즈 및 탐지기 유도 정렬 불일치 하에서 재식별 성능을 향상시키는가?
• RQ2 포즈 추정 신뢰를 포함하는 다중 스트림 융합이 단일 스트림 PoseBox 또는 원본 이미지 기준선보다 성능이 더 우수한가?
• RQ3 PoseBox 구성에서 팔/머리를 포함하는 것이 재식별 정확도에 어떤 영향을 미치는가?
• RQ4 PIE가 Market-1501, CUHK03, VIPeR에서 최첨단 방법과 어떻게 비교되는가?

주요 결과

• PIE는 Market-1501, CUHK03, VIPeR 데이터셋에서 지속적으로 강력한 기준선보다 성능을 향상시킨다.
• Market-1501에서 ResNet-50을 사용한 PIE는 순위-1 78.65% 및 mAP 53.87%(PIE, Pool5/FC 변형)이다.
• PIE (Pool5, img) 및 PIE (Pool5, pb) 변형은 Baseline1 및 Baseline2를 능가하며 원본 이미지와 PoseBox의 효과적인 융합을 나타낸다.
• PoseBox2(상체+다리+팔)가 PoseBox1(상체+다리)보다 성능이 우수하며 PoseBox3(머리 추가)는 미미한 향상을 주고, 그러나 PBF와의 융합은 이러한 격차를 감소시킨다.
• AlexNet의 PIE와 ResNet-50의 PIE가 경쟁력 있는 또는 최첨단에 근접한 결과를 달성하며, PIE+Kissme가 일부 벤치마크에서 최고의 성능을 기록한다.
• 적절성 변화 연구에서 원본 이미지 또는 PoseBox 스트림을 제거하면 성능이 저하되어 융합의 보완적 가치와 신뢰도 벡터의 신호를 확인시켜 준다.