[논문 리뷰] Query-guided End-to-End Person Search

Bharti Munjal, Sikandar Amin외 2명|arXiv (Cornell University)|2019. 05. 03.

Video Surveillance and Tracking Methods참고 문헌 39인용 수 16

한 줄 요약

이 논문은 전역 및 국소적 단서를 쿼리 이미지에서 활용하여 사람 검출과 재식별을 공동 최적화하는 최초의 엔드 투 엔드, 쿼리 유도형 사람 검색 네트워크인 QEEPS를 제안한다. 쿼리 유도형 시아모이즈 압축 및 자극 네트워크(QSSE-Net), 쿼리 유도형 RPN(QRPN), 쿼리 유사도 하위망(QSimNet)을 도입하여 CUHK-SYSU에서 88.9% mAP 및 89.1% top-1 성능을 달성하며, 이는 이전 방법보다 각각 5.9pp 및 5.4pp 향상된 상태의 최고 성능이다.

ABSTRACT

Person search has recently gained attention as the novel task of finding a person, provided as a cropped sample, from a gallery of non-cropped images, whereby several other people are also visible. We believe that i. person detection and re-identification should be pursued in a joint optimization framework and that ii. the person search should leverage the query image extensively (e.g. emphasizing unique query patterns). However, so far, no prior art realizes this. We introduce a novel query-guided end-to-end person search network (QEEPS) to address both aspects. We leverage a most recent joint detector and re-identification work, OIM [37]. We extend this with i. a query-guided Siamese squeeze-and-excitation network (QSSE-Net) that uses global context from both the query and gallery images, ii. a query-guided region proposal network (QRPN) to produce query-relevant proposals, and iii. a query-guided similarity subnetwork (QSimNet), to learn a query-guided reidentification score. QEEPS is the first end-to-end query-guided detection and re-id network. On both the most recent CUHK-SYSU [37] and PRW [46] datasets, we outperform the previous state-of-the-art by a large margin.

연구 동기 및 목표

• 사람 검색에서 순차적 검출 및 재식별의 한계를 해결하기 위해 이를 공동 최적화 프레임워크로 통합하기 위해.
• 의복 질감 및 색상과 같은 전역 및 국소적 쿼리 특성 패tern을 활용하여 제안 생성 및 특징 매칭을 향상시키기 위해.
• 쿼리 이미지 전체를 기반으로 검출 및 재식별을 조건화하는 완전한 엔드 투 엔드 학습 가능한 네트워크를 설계하기 위해.
• 특징 채널 및 공간 영역에 쿼리 인식 주의 메커니즘을 통합하여 기존 최고 성능 방법보다 CUHK-SYSU 및 PRW와 같은 벤치마크 데이터셋에서 뛰어난 성능을 달성하기 위해.

제안 방법

• 쿼리 및 갤러리 이미지 특징 간의 전역 상호의존성을 사용하여 채널별 특징 반응을 재조정하는 쿼리 유도형 시아모이즈 압축 및 자극 블록(QSSE-Net)을 제안한다.
• 수정된 압축 및 자극 메커니즘을 사용하여 공간 및 채널별 특징을 향상시켜 쿼리 관련 제안을 생성하는 쿼리 유도형 영역 제안 네트워크(QRPN)를 도입한다.
• 쿼리 및 갤러리 제안 특징을 비교하여 쿼리 조건화 재식별 점수를 학습하는 쿼리 유사도 하위망(QSimNet)을 설계한다.
• OIM 손실 함수를 확장하여 전체 네트워크의 엔드 투 엔드 학습을 가능하게 하며, 검출 및 재식별을 공동 최적화한다.
• 공동 백본을 사용하는 두 단계 기반 Faster R-CNN 기반 검출기로, 재식별 브랜치는 QSSE-Net 및 QRPN의 쿼리 인식 특징에 기반한다.
• 쿼리 및 갤러리 이미지를 엔드 투 엔드로 처리하여 추론 중에 쿼리에서 전역적 맥락과 국소적 특징을 효과적으로 활용할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 검출 및 재식별의 공동 엔드 투 엔드 학습이 순차적 파이프라인에 비해 사람 검색 성능 향상에 기여하는가?
• RQ2 쿼리 이미지의 전역 및 국소적 특징을 효과적으로 활용하여 사람 검색에서 제안 생성 및 특징 매칭을 유도할 수 있는가?
• RQ3 특징 채널 및 공간 영역에 쿼리 인식 주의 메커니즘을 통합하면 더 강력하고 정확한 사람 검색이 가능한가?
• RQ4 쿼리 유도형, 엔드 투 엔드 네트워크가 과제가 까다로운 사람 검색 벤치마크에서 기존 최고 성능 방법을 초월할 수 있는가?

주요 결과

• QEEPS는 CUHK-SYSU 데이터셋에서 기존 최고 성능 방법인 Mask-G보다 mAP 5.9pp, top-1 5.4pp 향상된 88.9% mAP 및 89.1% top-1의 새로운 최고 성능을 달성한다.
• PRW 데이터셋에서는 37.1% mAP 및 76.7% top-1로 새로운 최고 성능을 기록하며, Mask-G를 mAP 4.5pp, top-1 4.6pp 향상시켰다.
• QSimNet 구성 요소만으로도 CUHK-SYSU에서 mAP 7.1pp, top-1 4.3pp 향상되어 쿼리 유도형 유사도 학습의 효과를 입증한다.
• TFLOPs 기준으로 정규화했을 때 QEEPS는 Mask-G 대비 3.14배 빠르고 메모리 사용량이 4.27배 적다.
• 정성적 결과는 QEEPS가 저해상도, 가림, 어두운 조명 조건과 같은 도전적인 케이스에서도 정확한 매칭을 성공적으로 수행함을 보여주며, 기준 방법이 실패하는 상황에서도 유의미한 성능을 발휘한다.
• 실패 케이스는 주로 국소화 오류, 애너테이션 정확도 부족, 또는 사람 간의 극도로 유사한 시각적 특징 때문이며, 이는 어려운 실세계 조건에서도 강건함을 시사한다.