[논문 리뷰] Occluded Person Re-identification

Jiaxuan Zhuo, Zeyu Chen외 2명|arXiv (Cornell University)|2018. 04. 09.

Video Surveillance and Tracking Methods참고 문헌 9인용 수 13

한 줄 요약

이 논문은 감시 환경에서 전체 신체 영상이 부분적으로 가림된 프로브에서 전체 신체 영상으로의 사람 재식별(재-id)을 다루는 새로운 문제로, 오염된 사람 재식별을 제안한다. Attention Framework of Person Body (AFPB)는 인위적 가림을 생성하기 위한 가림 시뮬레이터를 사용하고, 정체성 분류 및 가림 분류의 다중 작업 손실을 통해 강력한 주의 기반 특징을 학습하며, 새로운 및 수정된 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Person re-identification (re-id) suffers from a serious occlusion problem when applied to crowded public places. In this paper, we propose to retrieve a full-body person image by using a person image with occlusions. This differs significantly from the conventional person re-id problem where it is assumed that person images are detected without any occlusion. We thus call this new problem the occluded person re-identitification. To address this new problem, we propose a novel Attention Framework of Person Body (AFPB) based on deep learning, consisting of 1) an Occlusion Simulator (OS) which automatically generates artificial occlusions for full-body person images, and 2) multi-task losses that force the neural network not only to discriminate a person's identity but also to determine whether a sample is from the occluded data distribution or the full-body data distribution. Experiments on a new occluded person re-id dataset and three existing benchmarks modified to include full-body person images and occluded person images show the superiority of the proposed method.

연구 동기 및 목표

• 공항이나 백화점과 같은 실생활 혼잡한 환경에서 심한 가림 상황에서 사람 재식별의 핵심 과제를 해결하기 위해.
• 목표가 부분적으로 가림된 프로브 영상에서 전체 신체 영상으로의 검색인 새로운 문제 정의인 오염된 사람 재식별을 제안하기 위해.
• 오염된 재식별을 위한 공개 데이터셋과 강력한 모델의 부족을 보완하기 위해 새로운 데이터셋과 혁신적인 딥 러닝 프레임워크를 구축하기 위해.
• 합성 데이터와 보조 감독을 통한 가림에 대한 사전 지식 통합을 통해 특징의 강건성을 향상시키기 위해.

제안 방법

• Attention Framework of Person Body (AFPB)는 가림 시뮬레이터(ос)를 사용하여 전체 신체 영상에 배경 패치를 무작위로 추가함으로써 인위적 가림이 발생한 사람 영상을 자동으로 생성한다.
• OS는 다양한 색상, 크기, 모양, 위치를 가진 실제 환경의 가림 패턴을 시뮬레이션하는 다각도의 인위적 가림 집합을 생성한다.
• AFPB는 다중 작업 학습을 통해 CNN을 통해 전체 신체 영상과 인위적으로 가려진 영상을 동시에 인코딩하며, 정체성 분류 손실과 가림/비가림 이진 분류(OBC) 손실을 조합한다.
• OBC 손실은 네트워크가 가려진 영상과 비가려진 영상 간의 구분을 학습하도록 돕는 보조 작업으로 기능하며, 결과적으로 사람 신체에 주의를 기울이도록 유도한다.
• SGD와 역전파를 사용하여 엔드 투 엔드로 훈련되며, Caffe와 같은 표준 딥 러닝 라이브러리로도 구현할 수 있다.
• 주목적 메커니즘이 네트워크가 다양한 인위적 가림 패턴을 관찰하면서도 구분 가능한 신체 부위에 집중하도록 유도함으로써 자연스럽게 기능한다.

실험 결과

연구 질문

• RQ1 딥 러닝 프레임워크는 실생활 감시 환경에서 부분적으로 가려진 프로브 영상에서 전체 신체 영상으로의 검색을 효과적으로 수행할 수 있는가?
• RQ2 인위적 가림 데이터는 다양한 가림 조건 하에서 사람 재식별의 특징 강건성을 어떻게 향상시킬 수 있는가?
• RQ3 정체성 인식과 가림 탐지의 공동 학습이 재식별 성능에 어떤 영향을 미치는가?
• RQ4 가림 분류를 포함하는 다중 작업 손실 전략은 일반화 능력 향상과 핵심 신체 부위에 대한 주의 향상에 기여하는가?

주요 결과

• AFPB 프레임워크는 새로 제작된 Occluded-REID 데이터셋에서 단일 샷 평가 시 68.14%의 랭크-1 정확도, 다중 샷 평가 시 94.00%의 랭크-1 정확도로 최신 기술 수준의 성능을 달성했다.
• Partial-REID 벤치마크에서 AFPB는 78.52%의 랭크-1 정확도를 기록했으며, ResNet-50보다 9.30% 포인트 높은 성능을 보였다.
• Occluded-REID에서 OBC 손실 통합으로 인해, 단지 정체성 손실만을 사용한 ResNet-50 대비 랭크-1 정확도가 4.29% 향상되었다.
• 제거 분석 결과, OBC 손실이 매우 효과적이며, 무작위 초모수 α가 0.7에서 0.9 사이일 때 최적의 성능을 기록했다.
• 자극도 맵 분석 결과 AFPB는 더 잘 구분 가능한 신체 영역을 국소화하는 데에 뛰어나며, Occluded-REID에서 자극도 탐지 정밀도가 6.22% 향상되어 83.48% (ResNet-50 대비 77.26%)를 기록했다.
• P-ETHZ와 P-DukeMTMC-reID에서 AFPB는 각각 58.15%와 46.15%의 랭크-1 정확도를 기록했으며, 기준 ResNet-50 및 이전 최신 기술 수준의 방법보다 뚜렷이 뛰어난 성능을 보였다.