[논문 리뷰] Foreground-aware Pyramid Reconstruction for Alignment-free Occluded Person Re-identification

Lingxiao He, Yinggang Wang외 5명|arXiv (Cornell University)|2019. 04. 10.

Video Surveillance and Tracking Methods참고 문헌 20인용 수 52

한 줄 요약

논문은 Foreground-aware Pyramid Reconstruction(FPR)를 소개합니다. FCN 기반 공간 피라미드와 전경 가이드 재구성을 사용하여 외부 단서 없이 가려진 사람 ReID를 수행하는 정렬 없는(Alignment-free) 방법입니다.

ABSTRACT

Re-identifying a person across multiple disjoint camera views is important for intelligent video surveillance, smart retailing and many other applications. However, existing person re-identification (ReID) methods are challenged by the ubiquitous occlusion over persons and suffer from performance degradation. This paper proposes a novel occlusion-robust and alignment-free model for occluded person ReID and extends its application to realistic and crowded scenarios. The proposed model first leverages the full convolution network (FCN) and pyramid pooling to extract spatial pyramid features. Then an alignment-free matching approach, namely Foreground-aware Pyramid Reconstruction (FPR), is developed to accurately compute matching scores between occluded persons, despite their different scales and sizes. FPR uses the error from robust reconstruction over spatial pyramid features to measure similarities between two persons. More importantly, we design an occlusion-sensitive foreground probability generator that focuses more on clean human body parts to refine the similarity computation with less contamination from occlusion. The FPR is easily embedded into any end-to-end person ReID models. The effectiveness of the proposed method is clearly demonstrated by the experimental results (Rank-1 accuracy) on three occluded person datasets: Partial REID (78.30\%), Partial iLIDS (68.08\%) and Occluded REID (81.00\%); and three benchmark person datasets: Market1501 (95.42\%), DukeMTMC (88.64\%) and CUHK03 (76.08\%)

연구 동기 및 목표

• Mask나 포즈와 같은 외부 신호에 의존하지 않고 사람 재식별의 가림 문제를 해결한다.
• 피라미드 특징과 재구성 오차를 기반으로 한 정렬 없는 매칭 점수를 개발한다.
• 전경 확률 맵으로 재구성을 안내하여 가림/배경 오염을 줄인다.
• 가려진 상황에서도 Rank-1과 mAP를 개선하는 기존 ReID 모델과의 엔드투엔드 통합을 가능하게 한다.

제안 방법

• 다양한 크기의 사람 이미지로부터 다중 스케일 공간 특징을 추출하기 위해 Pyramid Pooling이 포함된 Fully Convolutional Network(FCN)를 사용한다.
• 공간 특징으로부터 갤러리 및 프로브 특징 행렬을 구성하고 갤러리 특징으로부터 프로브 특징의 선형 재구성을 수행한다.
• 재구성 잔차를 계산하고, 전경 확률 벡터에 의해 가중된 재구성 오류를 거리로 정의한다.
• 해로운 샘플을 줄이고 구분 가능한 특징과 정확한 전경 맵을 학습하기 위해 hard triplet loss와 전경 확률 생성자 손실을 함께 학습한다.
• 전경 확률 생성기는 1x1 컨볼루션과 소프트맥스를 사용하여 재구성 시 전경 가능성에 따라 특징에 가중치를 부여하는 전경 확률 맵을 생성한다.
• 정렬 단계가 필요 없는 상태로 ReID 모델 내에서 FPR을 엔드투엔드 모듈로 통합한다.

실험 결과

연구 질문

• RQ1 공간 피라미드 재구성에 기반한 정렬 없는 매칭 점수가 심한 가림 하에서도 Robust한 ReID를 달성할 수 있는가?
• RQ2 전경 인식 가중치를 공간 특징에 적용하면 가림/배경 오염을 최소화하여 매칭이 개선되는가?
• RQ3 제안된 FPR이 표준 ReID 학습과 얼마나 잘 통합되며, 가려짐 및 비가려짐 데이터셋에서 Rank-1/mAP에 어떤 영향을 미치는가?

주요 결과

방법	Occluded_REID_R1	Occluded_REID_mAP	부분_REID_R1	부분_REID_mAP	부분_iLIDS_R1	부분_iLIDS_mAP
MaskReID	26.80	25.00	33.00	30.40	-	-
PCB	41.30	38.90	56.30	54.70	46.80	40.20
AMC+SWM	31.12	27.33	34.27	31.33	38.67	31.33
DSR	72.80	62.83	73.67	68.07	64.29	58.12
Baseline	42.12	37.24	53.33	50.20	52.94	43.53
FPR (ours)	78.30	68.00	81.00	76.60	68.08	61.78

• FPR은 세 가지 가려진 ReID 데이터셋에서 최첨단 결과를 달성한다: Partial REID (Rank-1 81.00%, mAP 76.60%), Partial iLIDS (Rank-1 68.08%, mAP 61.78%), Occluded REID (Rank-1 78.30%, mAP 68.00%).
• 표준 벤치마크 Market1501, DukeMTMC, CUHK03에서 FPR은 경쟁력 있는 결과를 달성한다(Rank-1 약 95.42%/76.08%/88.64% 및 mAP 약 86.58%/72.31%/78.42%).
• FPR은 외부 신호나 정렬에 의존하는 다수의 가려진-ReID 방법보다 우수한 성능을 보이며 추론 시에는 정렬 없이 작동한다.
• 전경 확률 생성기가 재구성 과정에서 전경 공간 특징에 더 큰 가중치를 부여함으로써 가림 및 배경의 영향을 효과적으로 줄인다.
• FCN 기반 공간 특징과 피라미드 풀링 덕분에 다양한 이미지 크기와 스케일에 대해 접근성이 높고 견고하다.