[논문 리뷰] Neural Person Search Machines

Hao Liu, Jiashi Feng외 6명|arXiv (Cornell University)|2017. 07. 21.

Video Surveillance and Tracking Methods참고 문헌 35인용 수 19

한 줄 요약

이 논문은 쿼리에 주의를 기반으로 한 메모리와 주의 메커니즘을 사용하여 전체 이미지에서 목표 인물을 정확히 국소화하기 위해 검색 영역을 반복적으로 축소하는 새로운 엔드 투 엔드 프레임워크인 신경 인물 검색 기계(Neural Person Search Machines, NPSM)를 제안한다. 쿼리 표현을 위한 외부 기초 메모리와 Conv-LSTM 기반 신경 검색 기반을 활용함으로써, NPSM는 CUHK-SYSU 및 PRW 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하여 이전 방법보다 최대 2.4% mAP 및 2.5% 상위 1위 정확도에서 뛰어난 성능을 보였다.

ABSTRACT

We investigate the problem of person search in the wild in this work. Instead of comparing the query against all candidate regions generated in a query-blind manner, we propose to recursively shrink the search area from the whole image till achieving precise localization of the target person, by fully exploiting information from the query and contextual cues in every recursive search step. We develop the Neural Person Search Machines (NPSM) to implement such recursive localization for person search. Benefiting from its neural search mechanism, NPSM is able to selectively shrink its focus from a loose region to a tighter one containing the target automatically. In this process, NPSM employs an internal primitive memory component to memorize the query representation which modulates the attention and augments its robustness to other distracting regions. Evaluations on two benchmark datasets, CUHK-SYSU Person Search dataset and PRW dataset, have demonstrated that our method can outperform current state-of-the-arts in both mAP and top-1 evaluation protocols.

연구 동기 및 목표

• 분리된 검출 및 재식별 모듈에 의존하는 이단계 인물 검색 방법의 한계를 해결하기 위해, 오류 전파 및 간섭 요소의 영향을 받기 쉬운 기존 방법의 문제점을 해결한다.
• 모든 쌍별 매칭을 수행하는 비효율적이고 정확도가 떨어지는 방법을 개선하기 위해, 거칠게부터 정밀하게 검색 영역을 점진적으로 좁혀나가는 전략을 도입하여 가장 관련성이 높은 영역에 집중한다.
• 쿼리의 외관 정보를 내부 메모리로 통합하여 재귀적 국소화 과정에서 주의를 이끌고 간섭 요소를 억제한다.
• 동적 하위영역 선택 및 정밀 조정을 가능하게 하는 신경 검색 기반을 개발하여, 복잡한 환경에서의 강인성과 정확도를 향상시킨다.

제안 방법

• 스패티오-타임프레임 영역 제안의 시퀀스를 모델링하기 위해 Conv-LSTM 유닛 기반의 신경 검색 네트워크(NSN)를 제안하여 재귀적 영역 정밀 조정을 가능하게 한다.
• 쿼리 인물의 외관 임베딩을 저장하고 지속적으로 업데이트하는 외부 기초 메모리 구성 요소를 도입하여 주의 및 필터링을 안내한다.
• 쿼리 메모리를 사용해 주의 메커니즘을 조절함으로써, 유사한 간섭 요소를 억제하면서도 유망한 하위영역에 집중할 수 있도록 한다.
• 각 단계에서 주의 점수와 메모리 기반 신뢰도에 따라 검색 영역을 축소하는 재귀적 검색 전략을 구현하여 인간의 시각적 검색 행동을 모방한다.
• 검출 및 재식별의 공동 최적화를 통해 엔드 투 엔드 NPSM 프레임워크를 훈련시켜 별도의 검출기 및 re-ID 네트워크가 필요 없도록 한다.
• 메모리 보강 주의 메커니즘을 활용해 저해상도, 혼잡한 배경, 카메라 간 외관 변화 등에 대한 강인성을 향상시킨다.

실험 결과

연구 질문

• RQ1 쿼리 외관에 기반해 검색 영역을 점진적으로 좁혀나가는 재귀적이고 메모리 보강된 신경 검색 기반의 메커니즘이 인물 검색 정확도를 향상시킬 수 있는가?
• RQ2 쿼리 인물의 기초 메모리 통합이 복잡한 환경에서 주의 집중과 간섭 요소에 대한 강인성에 어떤 영향을 미치는가?
• RQ3 실제 환경에서의 인물 검색 벤치마크에서 제안된 NPSM가 이단계 검출 및 re-ID 파이프라인에 비해 mAP 및 상위 1위 정확도 측면에서 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 NPSM는 다양한 갤러리 크기와 다른 검출 설정 조건에서도 뛰어난 성능을 유지하는가?
• RQ5 저해상도, 가림, 혼잡한 배경과 같은 다양한 실제 조건에서도 모델이 일반화 가능한가?

주요 결과

• 100개의 갤러리 이미지가 포함된 CUHK-SYSU 데이터셋에서 NPSM는 77.9% mAP 및 81.2% 상위 1위 정확도를 기록하여 OIM 기준선(75.5% mAP, 78.7% 상위 1위 정확도)을 각각 2.4%와 2.5% 향상시켰다.
• PRW 데이터셋에서 NPSM는 24.2% mAP 및 53.1% 상위 1위 정확도를 기록하여 OIM 기준선(21.3% mAP, 49.9% 상위 1위 정확도)을 각각 2.9%와 3.2% 향상시켰으며, 이미지당 하나의 바운딩 박스만 존재하는 조건에서도 성능을 확보했다.
• 모든 갤러리 크기 설정(50에서 4000까지)에서 일관된 우수성을 유지하여 평균적으로 OIM 대비 약 2% 향상된 성능을 기록했다.
• 주의 맵의 시각화 결과 NPSM가 시각적으로 유사한 간섭 요소가 존재하는 상황에서도 정확한 인물 영역에 집중하는 것을 확인할 수 있었다.
• 저해상도, 혼잡한 배경, 카메라 간 외관 변화와 같은 도전적인 조건에서도 강력한 강인성을 보였다.
• 제거 실험 결과 기초 메모리와 재귀적 검색의 통합이 국소화 정확도를 크게 향상시키고 관련 없는 영역의 간섭을 줄이는 데 기여함을 확인했다.