[논문 리뷰] Person Search by Multi-Scale Matching

Lan Xu, Xiatian Zhu외 1명|arXiv (Cornell University)|2018. 07. 23.

Video Surveillance and Tracking Methods참고 문헌 18인용 수 11

한 줄 요약

이 논문은 비제약 환경에서의 다중 척도 매칭 문제에 주목하면서도 아직 다루지 않은 중요한 문제를 해결하는 딥러닝 프레임워크인 크로스레벨 시맨틱 어ライ먼트(CLSA)를 제안한다. 학습 가능한 내부 네트워크 피처 피라미드와 새로운 크로스레벨 시맨틱 어라이먼트 손실을 통합함으로써, 복잡한 다중 브랜치 네트워크나 이미지 피라미드 없이도 최신 기술 수준(SOTA) 성능을 달성하며, CUHK-SYSU에서 6.0% 및 PRW에서 11.9%의 Rank-1 정확도 향상을 이룬다.

ABSTRACT

We consider the problem of person search in unconstrained scene images. Existing methods usually focus on improving the person detection accuracy to mitigate negative effects imposed by misalignment, mis-detections, and false alarms resulted from noisy people auto-detection. In contrast to previous studies, we show that sufficiently reliable person instance cropping is achievable by slightly improved state-of-the-art deep learning object detectors (e.g. Faster-RCNN), and the under-studied multi-scale matching problem in person search is a more severe barrier. In this work, we address this multi-scale person search challenge by proposing a Cross-Level Semantic Alignment (CLSA) deep learning approach capable of learning more discriminative identity feature representations in a unified end-to-end model. This is realised by exploiting the in-network feature pyramid structure of a deep neural network enhanced by a novel cross pyramid-level semantic alignment loss function. This favourably eliminates the need for constructing a computationally expensive image pyramid and a complex multi-branch network architecture. Extensive experiments show the modelling advantages and performance superiority of CLSA over the state-of-the-art person search and multi-scale matching methods on two large person search benchmarking datasets: CUHK-SYSU and PRW.

연구 동기 및 목표

• 사람 검색에서 다루지 않은 다중 척도 매칭 문제를 특정하고 해결함으로써, 사람 검출 기술의 발전에도 불구하고 여전히 주요 성능 저하 요인임을 밝히는 것.
• 자동 검출된 바운딩 박스 내에서 다양한 사람 척도에 걸쳐 특징 표현의 강건성을 향상시키는 종단간(end-to-end) 딥러닝 프레임워크를 개발하는 것.
• 다중 척도 사람 검색에서 계산 비용이 큰 이미지 피라미드나 복잡한 다중 브런치 아키텍처를 제거하는 것.
• 다양한 피처 피라미드 수준 간의 시맨틱 어라이먼트를 통해 신원 특징의 구분 능력을 향상시키는 것.
• 제안된 방법의 일반화 능력을 사람 검색을 넘어 사람 재식별 및 객체 분류 작업 등에서도 검증하는 것.

제안 방법

• 사전 학습된 ResNet의 중간 레이어를 활용해 내부 네트워크 피처 피라미드를 구성하는 크로스레벨 시맨틱 어라이먼트(CLSA) 프레임워크를 제안한다.
• 다른 피라미드 수준 간의 특징 표현을 정렬함으로써 신원의 구분 능력을 향상시키는 새로운 크로스레벨 시맨틱 어라이먼트 손실 함수를 도입한다.
• ResNet 블록들(예: 블록 5, 4, 3)의 특징 맵을 사용해 삼중 수준 피처 피라미드를 구성하며, 이 깊이에서 최적의 성능을 달성한다.
• 학습 안정성 향상과 특징 클러스터링 향상을 위해 온도 조정된 대비 손실(식 3)을 적용하며, T=3이 최적임을 발견했다.
• 더 높은 사람 검출 신뢰도를 확보하기 위해 CLSA를 Faster R-CNN에 통합하지만, 검출은 주요 성능 저하 요인은 아니다.
• 모델 전체를 종단간으로 학습함으로써 검출 및 다중 척도 매칭의 공동 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 사람 검색에서 다중 척도 매칭 문제는 사람 검출 정확도보다 더 심각한 성능 저하 요인인가?
• RQ2 명시적인 이미지 피라미드 없이도 통합된 종단간 딥러닝 모델이 자동 검출된 사람 바운딩 박스의 대규모 척도 변동을 효과적으로 다룰 수 있는가?
• RQ3 피처 피라미드 수준 간의 크로스레벨 시맨틱 어라이먼트가 사람 검색에서 신원 특징의 구분 능력을 향상시키는가?
• RQ4 제안된 CLSA 프레임워크는 사람 검색을 넘어 사람 재식별 및 객체 분류 작업에서 어떻게 일반화되는가?
• RQ5 다중 척도 사람 매칭에 최적의 피처 피라미드 수준 구성과 손실 온도 설정은 무엇인가?

주요 결과

• CLSA는 ResNet-50 베이스라인 대비 CUHK-SYSU 벤치마크에서 Rank-1 정확도를 82.5%에서 88.5%로 6.0% 향상시켜 다중 척도 매칭의 핵심적 역할을 입증한다.
• PRW 데이터셋에서는 최고의 경쟁자 대비 Rank-1 성능을 11.9% 향상시켜 실제 환경의 다중 척도 시나리오에서의 우수성을 확인한다.
• 삼중 수준 피처 피라미드(블록 5-4-3)가 최고의 성능을 내며, 더 깊은 피라미드(예: 5-4-3-2)는 의미 갭 문제로 인해 성능이 떨어진다.
• 대비 손실의 온도 파rameter는 상대적으로 민감도가 낮으며, T=3에서 최고의 결과를 내어 하이퍼파ram터 튜닝에 대한 강건성을 시사한다.
• CLSA는 사람 검색을 넘어선 일반화 능력이 뛰어나, Market-1501에서 사람 재식별 성능을 Rank-1 기준 3.5%, mAP 기준 4.5% 향상시키며, CIFAR-100의 상위-1 정확도도 1.5% 향상시켰다.
• 정답 바운딩 박스만 사용할 경우 Rank-1 정확도가 1.5% 향상되지만, CLSA를 통한 다중 척도 학습은 6.0% 향상시키며, 검출보다 척도 매칭이 더 중요한 과제임을 입증한다.