[논문 리뷰] Joint Detection and Identification Feature Learning for Person Search

Tong Xiao, Shuang Li외 3명|arXiv (Cornell University)|2016. 04. 07.

Video Surveillance and Tracking Methods인용 수 61

한 줄 요약

이 논문은 단일 합성곱 신경망을 사용하여 보행자 검출과 식별을 동시에 최적화하는 공동 검출 및 식별 특징 학습 프레임워크를 제안한다. 이 방법은 Softmax 손실보다 더 빠르고 우수한 수렴성을 보이는 온라인 인스턴스 매칭(OIM) 손실을 도입하여 대규모 보행자 검색 데이터셋에서 최신 기술 성능(SOTA)을 달성한다.

ABSTRACT

Existing person re-identification benchmarks and methods mainly focus on matching cropped pedestrian images between queries and candidates. However, it is different from real-world scenarios where the annotations of pedestrian bounding boxes are unavailable and the target person needs to be searched from a gallery of whole scene images. To close the gap, we propose a new deep learning framework for person search. Instead of breaking it down into two separate tasks---pedestrian detection and person re-identification, we jointly handle both aspects in a single convolutional neural network. An Online Instance Matching (OIM) loss function is proposed to train the network effectively, which is scalable to datasets with numerous identities. To validate our approach, we collect and annotate a large-scale benchmark dataset for person search. It contains 18,184 images, 8,432 identities, and 96,143 pedestrian bounding boxes. Experiments show that our framework outperforms other separate approaches, and the proposed OIM loss function converges much faster and better than the conventional Softmax loss.

연구 동기 및 목표

• 수동으로 잘라낸 보행자 이미지를 가정하는 보행자 재식별 벤치마크와 실제 응용에서 사용되는 전체 영상 이미지 간의 격차를 해소하기 위해.
• 분리된 작업으로 간주하는 대신, 단일 딥 네트워크에서 보행자 검출과 보행자 재식별을 공동 최적화하여 보행자 검색 성능을 향상시키기 위해.
• 수많은 신원이 포함된 대규모 데이터셋을 지원할 수 있는 확장 가능하고 비모수적 손실 함수를 개발하기 위해.
• 미래 연구를 지원하기 위해 대규모이고 실제 세계 중심의 벤치마크 데이터셋을 구축하기 위해.

제안 방법

• 빠른 추론을 위해 기초 합성곱 특징을 공유하는 보행자 제안 네트워크와 식별 네트워크를 갖춘 단일 CNN 아키텍처를 설계한다.
• 온라인 인스턴스 매칭(OIM) 손실 함수는 레이블이 부여된 신원의 특징을 담은 참조 테이블과 레이블이 없는 특징의 원형 큐를 사용하여 미니배치 샘플을 비교한다. 이는 음성 예측으로 기능한다.
• OIM 손실은 파라미터가 없으며, 모든 샘플을 동시에 효과적으로 비교할 수 있어 Softmax 손실보다 수렴 속도와 성능이 향상된다.
• 학습 정규화 및 거리 계산 가속화를 위해 L2 정규화된 부분공간 투영을 통해 특징 차원을 256D로 감소시킨다.
• OIM 손실에서 신원의 샘플링을 통해 고수준의 신원 수를 가진 대규모 데이터셋에 대한 확장성을 유지한다.
• 엔드 투 엔드로 훈련되며, 공동 최적화를 통해 검출 및 식별 구성 요소가 상호적으로 향상되도록 한다.

실험 결과

연구 질문

• RQ1 분리된 파이프라인 접근 방식과 비교해 볼 때, 단일 CNN에서 보행자 검출과 보행자 재식별을 공동 최적화함으로써 보행자 검색 성능이 향상되는가?
• RQ2 제안된 OIM 손실 함수가 대규모 보행자 검색 데이터셋에서 기존의 Softmax 또는 트리플릿 손실 함수보다 더 빠르고 효과적인 학습을 가능하게 하는가?
• RQ3 신원 수가 증가하는 데이터셋에 적용했을 때 OIM 손실의 확장성은 어떻게 작용하는가?
• RQ4 공동 검출 및 재식별을 사용할 경우, 검출 재현율이 최종 보행자 검색 성능에 어떤 영향을 미치는가?
• RQ5 실제 조건에서 갤러리 크기가 보행자 검색 모델의 일반화 능력과 성능에 어떤 영향을 미치는가?

주요 결과

• OIM 손실을 사용한 제안된 프레임워크는 CUHK03에서 77.7%의 top-1 mAP, Market1501에서 77.9%, Duke에서 61.7%를 기록하여 Softmax 손실 기반 기준 모델을 능가한다.
• ResNet-50에서 OIM 손실은 CUHK03에서 77.5%의 top-1 정확도, Market1501에서 82.1%, Duke에서 68.1%를 기록하여 Softmax 손실보다 뚜렷이 향상된 성능을 보였다.
• OIM 손실은 Softmax 손실보다 수렴 속도가 빠르고 성능이 뛰어나며, 손실 계산에서 100개의 신원을 샘플링함으로써 강력한 성능 유지와 함께 훈련 속도 향상을 달성한다.
• 256차원의 L2 정규화된 특징 부분공간을 사용할 경우 최고의 테스트 성능(78.7% top-1, 75.5% mAP)을 기록하였으며, 원본 2048D 특징과 더 높은 차원의 투영보다 뛰어난 성능을 보였다.
• 높은 검출 재현율이 항상 보행자 검색 mAP를 향상시키는 것은 아니며, 이는 재식별 모델이 잘못된 양성 예측에 혼동될 수 있음을 시사하며, 공동 최적화의 필요성을 강화한다.
• 갤러리 크기가 커질수록 다양한 모델 간의 성능 격차가 줄어들며, 이는 하드 예제가 일반적임을 시사하며, 하드 예제 마이닝이 성능 향상에 기여할 수 있음을 시사한다.