[논문 리뷰] Multispectral Pedestrian Detection via Simultaneous Detection and Segmentation

Chengyang Li, Dan Song외 2명|arXiv (Cornell University)|2018. 08. 14.

Video Surveillance and Tracking Methods인용 수 101

한 줄 요약

이 논문은 색상 및 열 데이터를 융합하고 탐지와 의미적 분할을 공동 최적화하여 KAIST에서 보행자 탐지를 향상시키는 두 단계 멀티스펙트럴 탐지 프레임워크 MSDS-RCNN을 제시하고, 최신 성능을 달성하며 정제된 학습 주석을 제공합니다.

ABSTRACT

Multispectral pedestrian detection has attracted increasing attention from the research community due to its crucial competence for many around-the-clock applications (e.g., video surveillance and autonomous driving), especially under insufficient illumination conditions. We create a human baseline over the KAIST dataset and reveal that there is still a large gap between current top detectors and human performance. To narrow this gap, we propose a network fusion architecture, which consists of a multispectral proposal network to generate pedestrian proposals, and a subsequent multispectral classification network to distinguish pedestrian instances from hard negatives. The unified network is learned by jointly optimizing pedestrian detection and semantic segmentation tasks. The final detections are obtained by integrating the outputs from different modalities as well as the two stages. The approach significantly outperforms state-of-the-art methods on the KAIST dataset while remain fast. Additionally, we contribute a sanitized version of training annotations for the KAIST dataset, and examine the effects caused by different kinds of annotation errors. Future research of this problem will benefit from the sanitized version which eliminates the interference of annotation errors.

연구 동기 및 목표

• 저조도 환경에서 RGB-열 데이터를 활용하여 보행자 탐지를 개선하려는 동기 부여.
• 멀티스펙트럼 제안 및 분류를 위한 두 단계 네트워크 융합 아키텍처를 제안.
• 탐지와 의미적 분할의 공동 최적화를 통해 성능을 향상시키는지 탐구.
• 주석 품질이 탐탐지기 성능에 미치는 영향을 평가하고 정제된 KAIST 주석을 제공합니다.

제안 방법

• 멀티스펙트럼 제안 네트워크(MPN)와 멀티스펙트럼 분류 네트워크(MCN)가 포함된 MSDS-RCNN을 제안합니다.
• 보완 특성을 활용하기 위해 MPN과 MCN의 중간 지점에서 색상, 열, 병합 스트림을 융합합니다.
• 각 스트림에 대해 탐지 및 픽셀 수준 분할 항을 포함하는 공동 손실로 학습합니다.
• 다중 모달 간 MPN과 MCN의 출력을 통합하여 최종 탐지를 얻습니다.
• KAIST 학습 주석의 정제 버전을 적용하여 주석 노이즈 효과를 연구합니다.

실험 결과

연구 질문

• RQ1 멀티스펙트럼 융합이 KAIST에서 단일 모달 RGB 또는 열 방법을 넘어 보행자 탐지를 개선할 수 있는가?
• RQ2 제안 생성 및 분류에서 의미 분할 감독을 도입하면 탐지 성능이 향상되는가?
• RQ3 주석 품질이 다중 스펙트럼 탐지기의 성능에 어떤 영향을 주며 KAIST 주석을 정제하는 것이 어떤 영향을 미치는가?

주요 결과

• MSDS-RCNN은 KAIST에서 최신 방법을 크게 능가하며 로그 평균 누락률(MR)을 11.63%로 달성합니다.
• 세척된 KAIST 학습 주석을 사용하자 테스트 세트의 MR이 7.45%로 감소하여 주석 노이즈가 주요 오류 원인임을 강조합니다.
• MPN과 MCN 모두에서 세분화 감독이 상당한 성능 향상을 가져오며, 특히 MPN에서 더 큰 효과를 보입니다.
• 색상, 열, 병합 스트림 간의 점수 융합과 MPN 기여가 개별 스트림보다 MR을 더욱 개선합니다.
• 이 방법은 Titan X GPU에서 이미지당 228 ms의 속도로 실행되며, 비교 대상 최상 성능 방법인 IATDNN+IASS보다 빠릅니다.
• 주간 및 야간 조건에서 성능 향상이 관찰되며, 특히 야간에 큰 개선이 나타납니다.