[논문 리뷰] End-to-End Deep Learning for Person Search.

Tong Xiao, Shuang Li외 3명|arXiv (Cornell University)|2016. 04. 07.

Video Surveillance and Tracking Methods참고 문헌 55인용 수 156

한 줄 요약

이 논문은 캐리어 박스가 없는 오픈 월드 환경에서 사람 검색을 위한 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 이 프레임워크는 캐리어 박스가 애초에 존재하지 않는 상황에서 사람의 위치를 동시에 정확히 파악하고 재확인하는 데 중점을 두며, 레이블이 희박하고 불균형한 상황에서도 안정적인 학습을 가능하게 하기 위해 무작위 샘플링 소프트맥스 손실을 도입하였다. 이 방법은 18,184장의 이미지와 99,809개의 박스 레이블을 포함하는 새로운 대규모, 다양한 환경을 반영한 사람 검색 데이터셋에서 최신 기준 성능을 달성하였다.

ABSTRACT

Existing person re-identification (re-id) benchmarks and algorithms mainly focus on matching cropped pedestrian images between queries and candidates. However, it is different from real-world scenarios where the annotations of pedestrian bounding boxes are unavailable and the target person needs to be found from whole images. To close the gap, we investigate how to localize and match query persons from the scene images without relying on the annotations of candidate boxes. Instead of breaking it down into two separate tasks—pedestrian detection and person re-id, we propose an end-to-end deep learning framework to jointly handle both tasks. A random sampling softmax loss is proposed to effectively train the model under the supervision of sparse and unbalanced labels. On the other hand, existing benchmarks are small in scale and the samples are collected from a few fixed camera views with low scene diversities. To address this issue, we collect a largescale and scene-diversified person search dataset, which contains 18,184 images, 8,432 persons, and 99,809 annotated bounding boxes1. We evaluate our approach and other baselines on the proposed dataset, and study the influence of various factors. Experiments show that our method achieves the best result.

연구 동기 및 목표

• 자르기 전 이미지에 특화된 기존의 사람 재확인 기준 평가 벤치마크와 실제 환경 간 격차를 메우기 위해, 보행자 박스가 제공되지 않는 상황에서의 사람 검색 문제를 해결한다.
• 검출과 재확인을 별도의 단계로 나누지 않고, 동시에 수행하는 통합된 딥 러닝 프레임워크를 개발한다.
• 희박하고 불균형한 레이블로 인한 학습 과제를 해결하기 위해, 새로운 랜덤 샘플링 소프트맥스 손실을 도입한다.
• 더 현실적이고 강건한 사람 검색 방법 평가를 지원하기 위해 대규모, 다양한 환경을 반영한 사람 검색 데이터셋을 구축한다.

제안 방법

• 사람의 보행자 박스와 재확인을 위한 임bedding 특징을 동시에 예측하는 엔드 투 엔드 딥 러닝 아키텍처를 제안한다.
• 단일 쿼리에 대해 양성 샘플이 몇 개뿐인 희박하고 불균형한 지도 신호 하에서 학습 안정성과 성능을 향상시키기 위해, 랜덤 샘플링 소프트맥스 손실을 도입한다.
• 오직 쿼리 사람 레이블만 제공되는 약한 지도 신호를 사용하여, 학습 중에 후보 사람 박스가 필요 없도록 모델을 엔드 투 엔드로 훈련시킨다.
• 공유된 백본 네트워크에서 생성된 특징 맵을 활용하여, 통합된 특징 공간에서 검출과 재확인 예측을 동시에 수행한다.
• 역전파 과정에서 동시에 위치 추적과 재확인을 최적화하는 다중 작업 학습 목표를 사용한다.
• 학습 중에 부정성 후보를 랜덤하게 샘플링하여, 모델 붕괴를 방지하고 레이블 부족 상황에서의 일반화 능력을 향상시키기 위해 손실 함수를 설계한다.

실험 결과

연구 질문

• RQ1 annotation된 후보 박스가 없는 환경에서, 엔드 투 엔드 딥 러닝 모델이 사람의 위치 추적과 재확인을 동시에 효과적으로 수행할 수 있는가?
• RQ2 제안된 랜덤 샘플링 소프트맥스 손실은 사람 검색에서 희박하고 불균형한 지도 신호 하에서 모델 성능을 어떻게 향상시키는가?
• RQ3 데이터셋의 규모와 환경 다양성이 사람 검색 모델의 성능에 어느 정도의 영향을 미치는가?
• RQ4 검출과 재확인을 분리한 파이프라인 기반 접근 방식과 비교했을 때, 제안된 방법은 어떤가?

주요 결과

• 제안된 엔드 투 엔드 프레임워크는 새로 수집한 사람 검색 데이터셋에서 최신 기준 성능을 달성하며, 기존 베이스라인을 능가한다.
• 랜덤 샘플링 소프트맥스 손실은 희박하고 불균형한 레이블 설정 하에서 학습 수렴 속도와 모델 정확도를 크게 향상시킨다.
• 18,184장의 이미지, 8,432명의 사람, 99,809개의 경계 상자 레이블을 포함하는 대규모, 다양한 환경의 데이터셋은 사람 검색 시스템의 더 현실적인 평가를 가능하게 한다.
• 실험 결과에 따르면, 위치 추적과 재확인을 동시에 학습하는 통합 학습 방식이 별도의 검출 및 재확인 파이프라인보다 더 높은 성능을 낸다.
• 훈련 데이터의 다양성 덕분에, 환경의 복잡성과 카메라 시점의 변화에 대해 모델이 강건함을 입증하였다.
• 제거 실험을 통해 제안된 손실 함수가 훈련 중 양성 및 부정성 샘플 간 불균형을 다루는 데 핵심적인 역할을 한다는 점을 확인하였다.