[논문 리뷰] Learning Deep Context-aware Features over Body and Latent Parts for Person Re-identification

Dangwei Li, Xiaotang Chen외 2명|arXiv (Cornell University)|2017. 10. 18.

Video Surveillance and Tracking Methods참고 문헌 34인용 수 90

한 줄 요약

MSCAN을 도입하여 다중 스케일 컨텍스트 인식 기능을 제공하고 공간 변환 네트워크를 이용해 잠재적 보행자 파트를 학습하며, 전체 신체 특징과 융합하여 Market1501, CUHK03, MARS에서 최첨단 사람 ReID를 달성한다.

ABSTRACT

Person Re-identification (ReID) is to identify the same person across different cameras. It is a challenging task due to the large variations in person pose, occlusion, background clutter, etc How to extract powerful features is a fundamental problem in ReID and is still an open problem today. In this paper, we design a Multi-Scale Context-Aware Network (MSCAN) to learn powerful features over full body and body parts, which can well capture the local context knowledge by stacking multi-scale convolutions in each layer. Moreover, instead of using predefined rigid parts, we propose to learn and localize deformable pedestrian parts using Spatial Transformer Networks (STN) with novel spatial constraints. The learned body parts can release some difficulties, eg pose variations and background clutters, in part-based representation. Finally, we integrate the representation learning processes of full body and body parts into a unified framework for person ReID through multi-class person identification tasks. Extensive evaluations on current challenging large-scale person ReID datasets, including the image-based Market1501, CUHK03 and sequence-based MARS datasets, show that the proposed method achieves the state-of-the-art results.

연구 동기 및 목표

• 심층 신경망을 이용해 강건한 전신 및 바디 파트 표현을 학습하여 사람 재식별(ReID)을 달성한다.
• 다중 스케일 컨텍스트를 포착하여 미세한 실마리(예: 선글라스, 신발)를 보존한다.
• 새로운 제약 하에서 Spatial Transformer Networks로 정보성 잠재 보행자 파트를 위치화한다.
• 통합 IDE 기반 프레임워크에서 글로벌 및 로컬 특징을 융합하고 분류 손실로 최적화한다.

제안 방법

• 각 층에서 다중 스케일 컨텍스트를 학습하고 여러 커널의 특징을 연결하기 위해 확장된 컨볼루션으로 구성된 Multi-Scale Context-Aware Network (MSCAN)을 제안한다.
• Spatial Transformer Networks (STN)을 사용해 세 가지 제약(중심, 값 범위, 이미지 내 초점)을 적용하여 잠재 바디 파트를 학습·Localization 하여 붕괴와 배경 산만함을 방지한다.
• MSCAN을 통해 글로벌 전신 특징과 128-d 임베딩을 추출하고; 세 가지 잠재 파트에 대한 파트 기반 특징과 64/128-d 임베딩을 추출한 후 이를 256-d 최종 표현으로 융합한다.
• 네트워크를 소프트맥스(신원 분류) 손실과 파트 위치화용 위치 손실(Lloc)로 학습시키고 L = Lcls + λLloc로 결합한다.

실험 결과

연구 질문

• RQ1 다중 스케일 컨텍스트와 학습 가능한 잠재 파트가 강체(part)나 글로벌 방식보다 ReID의 식별력을 향상시킬 수 있는가?
• RQ2 학습된 잠재 파트가 전신 표현에 보완 정보를 제공하는가?
• RQ3 제안된 방법이 대규모 데이터셋(Market1501, CUHK03, MARS)에서 그리고 교차 데이터셋 설정에서 어떻게 성능을 보이는가?

주요 결과

• 전신 및 학습된 잠재 바디 파트의 융합은 Market1501에서 우수한 Rank-1 및 mAP를 달성한다(예: Our-Fusion은 단일 질의에서 Rank-1 80.31, mAP 57.53; 다중 질의에서 Rank-1 86.79, mAP 66.70).
• STN으로 학습된 잠재 파트는 경직된 파트를 능가한다(잠재 파트: 단일 질의에서 Rank-1 76.25, mAP 53.33; 다중 질의에서 84.12, 62.90).
• 로컬라이제이션 제약(Lloc)의 강제 적용은 파트 기반 성능을 크게 향상시킨다(예: Lcls 대 Lcls+Lloc: Market1501 단일 질의에서 Rank-1 67.22에서 76.25로).
• 세 가지 확장 비율(k=3)을 갖는 MSCAN이 단일 모델 성능 최상을 제공하며, k=3을 넘어서의 추가 이득은 감소한다.
• 이 방법은 여러 베이스라인 및 기존 딥러닝 방법에 비해 Market1501, CUHK03, MARS에서 최첨단 성능을 달성한다.