[논문 리뷰] Person Search via A Mask-Guided Two-Stream CNN Model

Di Chen, Shanshan Zhang외 3명|arXiv (Cornell University)|2018. 07. 21.

Video Surveillance and Tracking Methods참고 문헌 38인용 수 24

한 줄 요약

이 논문은 사람 검색을 위한 마스크 유도 이중 스트림 CNN 모델을 제안하며, 보행자 검출과 재식별 작업을 분리하여 한 스트림은 전경 사람 영역을, 다른 스트림은 원본 이미지 영역을 처리함으로써 특징 표현을 향상시킵니다. 이 방법은 표현 공유 없이 특징 학습을 향상시켜 CUHK-SYSU에서 83.0%의 mAP, PRW에서 32.6%의 mAP를 달성하여 이전 작업보다 5个百分点 이상 우수한 성능을 내며 최신 기술 수준을 확립합니다.

ABSTRACT

In this work, we tackle the problem of person search, which is a challenging task consisted of pedestrian detection and person re-identification~(re-ID). Instead of sharing representations in a single joint model, we find that separating detector and re-ID feature extraction yields better performance. In order to extract more representative features for each identity, we segment out the foreground person from the original image patch. We propose a simple yet effective re-ID method, which models foreground person and original image patches individually, and obtains enriched representations from two separate CNN streams. From the experiments on two standard person search benchmarks of CUHK-SYSU and PRW, we achieve mAP of $83.0\%$ and $32.6\%$ respectively, surpassing the state of the art by a large margin (more than 5pp).

연구 동기 및 목표

• 실제 환경 조건인 가림, 저해상도, 외관 변화 등에서 보행자 검출과 사람 재식별을 통합하는 사람 검색 과제를 해결하기 위함입니다.
• 재식별에서의 클래스 간 차이 모델링과 검출에서의 클래스 내 공통성 모델링 간 갈등하는 목표로 인해 검출과 재식별 작업 간 표현 공유가 성능을 떨어뜨리는지 조사하기 위함입니다.
• 전경 사람 영역과 원본 이미지 영역을 별도로 명시적으로 모델링하여 상호 보완적인 정보를 활용함으로써 재식별 정확도를 향상시키기 위함입니다.
• 이중 단계, 표현 공유가 없는 접근 방식이 사람 검색에서 엔드 투 엔드 공동 학습보다 우수한 성능을 낼 수 있음을 입증하기 위함입니다.

제안 방법

• 이 방법은 이중 단계 파이프라인을 사용합니다: 첫 번째로, Faster R-CNN 검출기가 갤러리 이미지에서 보행자를 식별합니다. 두 번째로, 마스크 유도 이중 스트림 CNN이 재식별을 수행합니다.
• 전경 사람 영역은 MS COCO에서 사전 훈련된 FCIS 모델이 생성한 세그멘테이션 마스크를 사용하여 추출하며, 미세 조정 없이 적용됩니다.
• 두 개의 별도 CNN 스트림이 전경 영역과 원본 이미지 영역을 각각 독립적으로 처리함으로써 각 모odal의 특징 학습이 별도로 이루어지게 됩니다.
• 재식별 네트워크는 정체성 식별을 최적화하기 위해 온라인 인스턴스 매칭(OIM) 손실 함수로 훈련됩니다.
• 최종 특징 벡터는 두 스트림의 출력을 연결하여 형성되며, 이로써 모델은 구분 가능한 전경 단서와 맥락적 배경 정보 양쪽 모두의 이점을 얻을 수 있습니다.
• 절단 분석 결과, RoI 확장 인자 γ ∈ [1.2, 1.5] 범위 내에서 중간 정도의 맥락 정보가 성능 향상에 기여하며, 너무 많은 배경 정보는 정확도를 떨어뜨립니다.

실험 결과

연구 질문

• RQ1 보행자 검출과 사람 재식별 간 표현 공유가 상반된 학습 목표로 인해 전체 사람 검색 성능을 떨어뜨리는가?
• RQ2 이중 CNN 스트림을 사용해 전경 사람 영역과 원본 이미지 영역을 별도로 모델링함으로써 재식별 성능을 향상시킬 수 있는가?
• RQ3 전경 강조와 배경 맥락 사이에 최적의 균형이 존재하여 재식별 정확도를 극대화할 수 있는가?
• RQ4 이중 단계, 표현 공유가 없는 접근 방식이 사람 검색에서 엔드 투 엔드 공동 학습보다 우수한가?

주요 결과

• 제안된 방법은 CUHK-SYSU 벤치마크에서 83.0%의 mAP를 달성하여 이전 최고 기록을 5个百分点 이상 초월합니다.
• PRW 데이터셋에서는 32.6%의 mAP를 기록하여 이전 최고 기록을 5个百分点 이상 초월합니다.
• 절단 분석 결과, 전경 스트림이 원본 이미지 스트림보다 최종 특징 벡터에 더 큰 기여를 하며, 상위 채널의 평균 활성화 값이 더 높은 것으로 확인됩니다.
• RoI 확장 인자 γ가 1.2에서 1.5 사이일 때 모델이 가장 우수한 성능을 내며, 중간 정도의 맥락 정보가 성능 향상에 기여하고, 과도한 배경 정보는 정확도를 떨어뜨림을 시사합니다.
• FCIS로 생성된 마스크 대신 경계 상자(Bounding box)를 약한 마스크로 사용하면 추론 시간이 약 2배 감소하지만 성능은 유지되며(mAP 85.1% 대비 89.1%), 정확도 저하 없이 실용적인 가속화를 가능하게 합니다.
• 정성적 결과는 모델이 유사한 옷차림의 경우에도 기준 OIM보다 정확한 매칭을 더 높게 순위 매기며, 미세한 전경 차이를 강조함으로써 성능 향상을 입증합니다.