[논문 리뷰] MaskReID: A Mask Based Deep Ranking Neural Network for Person Re-identification

Lei Qi, Jing Huo외 3명|arXiv (Cornell University)|2018. 04. 11.

Video Surveillance and Tracking Methods참고 문헌 34인용 수 61

한 줄 요약

MaskReID은 마스크된 전경 입력, 스킵된 다층 특징 융합, 그리고 새로운 랭킹 손실을 도입하여 여러 데이터셋에서 사람 재식별 성능을 향상시킨다.

ABSTRACT

Person retrieval faces many challenges including cluttered background, appearance variations (e.g., illumination, pose, occlusion) among different camera views and the similarity among different person's images. To address these issues, we put forward a novel mask based deep ranking neural network with a skipped fusing layer. Firstly, to alleviate the problem of cluttered background, masked images with only the foreground regions are incorporated as input in the proposed neural network. Secondly, to reduce the impact of the appearance variations, the multi-layer fusion scheme is developed to obtain more discriminative fine-grained information. Lastly, considering person retrieval is a special image retrieval task, we propose a novel ranking loss to optimize the whole network. The proposed ranking loss can further mitigate the interference problem of similar negative samples when producing ranking results. The extensive experiments validate the superiority of the proposed method compared with the state-of-the-art methods on many benchmark datasets.

연구 동기 및 목표

• 배경 잡음을 완화하기 위해 Re-ID에 마스크된 전경 입력을 사용한다.
• 다층 특징 융합을 통해 미세한 크로스 뷰 정보를 포착한다.
• 검색에서 여러 양성/음성을 효과적으로 처리하는 랭킹 손실을 개발한다.

제안 방법

• 세분화를 사용해 마스크된 전경 이미지를 생성하고 원본 입력과 마스크된 입력을 네트워크에 모두 공급한다.
• 저층-중간-고단계 특징을 결합하기 위한 스킵된 특징 융합 계층을 적용한다.
• 여러 양성/음성을 함께 고려해 순위를 최적화하는 새로운 랭킹 손실을 채택한다.
• 네트워크를 inception 스타일 아키텍처와 융합된 특징을 위한 공유 백본 위에 기반한다.
• 앵커당 다중 양성/음성으로 확장된 N-pair 영감을 받은 랭킹 객체를 사용해 학습한다.

실험 결과

연구 질문

• RQ1 마스크된 전경 입력이 배경 잡음을 줄이고 데이터셋 across에서 Re-ID 정확도를 향상시키는가?
• RQ2 스킵된 융합 계층을 통해 다계층 특징을 결합하면 사람 검색에 더 구별력 있는 표현을 얻을 수 있는가?
• RQ3 앵커당 다수의 양성/음성을 사용하는 랭킹 손실이 Re-ID 작업에서 트립렛, N-pair, 표준 소프트맥스 손실보다 우수한가?

주요 결과

Method	VIPeR	PRID	3DPeS	iLIDS	CUHK01	CUHK03
DGD	38.60	64.00	56.00	64.60	66.60	75.30
MaskReID-F	39.24	64.00	64.88	66.09	77.16	87.47
MaskReID-M	44.62	65.00	66.12	69.57	84.26	88.75
MaskReID (Ours)	45.57	70.00	68.60	70.43	84.05	92.25

• MaskReID는 소규모 데이터셋에서 경쟁력 있는 결과를 달성하고 Market1501 및 DukeMTMC-reID와 같은 대규모 데이터셋에서 최첨단 성능을 달성한다.
• 마스크된 입력 및 다층 특징 융합이 기본 DGD 네트워크 대비 성능 향상에 기여한다.
• 제안된 랭킹 손실이 소프트맥스, 트립렛, 및 N-pair 손실보다 우수하며 재랭킹이 결과를 더 개선한다.
• 아블레이션은 마스크된 입력과 융합된 특징이 모두 유익하며 이들의 조합이 최상의 성능을 낳는다.
• Market1501 단일 질의에서 MaskReID는 Rank-1 90.44% 및 mAP 75.36%에 도달; 재랭킹 시 Rank-1 92.46% 및 mAP 88.13%(단일 질의).
• DukeMTMC-reID에서 MaskReID는 Rank-1 78.86% 및 mAP 61.89%; 재랭킹 시 Rank-1 84.07% 및 mAP 79.73%를 달성한다.