[논문 리뷰] Multispectral Deep Neural Networks for Pedestrian Detection

Jingjing Liu, Shaoting Zhang외 2명|arXiv (Cornell University)|2016. 11. 08.

Advanced Neural Network Applications참고 문헌 29인용 수 53

한 줄 요약

이 논문은 색상 및 열화상 영상을 딥 네ural 네트워크에 통합하여 보다 향상된 보행자 검출을 위한 네 가지 다중스펙트럼 ConvNet 융합 아키텍처를 제안한다. 중간 합성 레이어에서 특징을 융합하는 Halfway Fusion 모델은 KAIST 벤치마크에서 36.99%의 누락률을 기록하며, 기준 Faster R-CNN 대비 11% 낮고, 다른 융합 아키텍처 대비 3.5% 낮아 최신 기술 수준을 달성한다.

ABSTRACT

Multispectral pedestrian detection is essential for around-the-clock applications, e.g., surveillance and autonomous driving. We deeply analyze Faster R-CNN for multispectral pedestrian detection task and then model it into a convolutional network (ConvNet) fusion problem. Further, we discover that ConvNet-based pedestrian detectors trained by color or thermal images separately provide complementary information in discriminating human instances. Thus there is a large potential to improve pedestrian detection by using color and thermal images in DNNs simultaneously. We carefully design four ConvNet fusion architectures that integrate two-branch ConvNets on different DNNs stages, all of which yield better performance compared with the baseline detector. Our experimental results on KAIST pedestrian benchmark show that the Halfway Fusion model that performs fusion on the middle-level convolutional features outperforms the baseline method by 11% and yields a missing rate 3.5% lower than the other proposed architectures.

연구 동기 및 목표

• 낮은 조도 또는 야간 조건에서 단일 모odal 검출기의 한계를 해결하기 위해.
• 딥 네럴 네트워크에서 다중스펙트럼(색상 및 열화상) 데이터를 효과적으로 융합하는 방법을 탐색하기 위해.
• 조기, 중간, 후기 또는 점수 수준에서의 융합 타이밍이 검출 성능에 미치는 영향을 조사하기 위해.
• 다양한 ConvNet 융합 아키텍처를 설계하고 평가하여 다중스펙트럼 보행자 검출에 최적의 융합 전략을 규명하기 위해.
• 24시간 기반 응용을 위한 KAIST 다중스펙트럼 보행자 검출 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 학습을 위해 색상 및 열화상 영상 각각에 대해 별도의 검출기를 훈련하기 위해 Faster R-CNN을 단순 ConvNet으로 변형한다.
• 네 가지의 고유한 융합 아키텍처 설계: 조기 융합(저수준 특징), Halfway 융합(중수준 특징), 후기 융합(고수준 특징), 점수 융합(신뢰도 점수).
• ConvNet의 다양한 단계에서 특징 융합을 수행하여 융합 타이밍이 검출 성능에 미치는 영향을 평가한다.
• 표준 평가 지표인 누락률(MR) 및 재현율을 사용하여 KAIST 다중스펙트럼 보행자 검출 데이터셋에서 모든 융합 모델을 훈련 및 평가한다.
• 영역 제안 네트워크(RPN)를 사용하여 제안 품질을 평가하고, 다양한 제안 수와 IoU 임계값에서 재현율을 측정한다.
• 모든 모델을 기준 Faster R-CNN 및 ACF-C-T 검출기와 비교하여 성능 향상 여부를 검증한다.

실험 결과

연구 질문

• RQ1 DNN의 다양한 단계에서 색상 및 열화상 영상을 융합할 경우 보행자 검출 성능에 어떤 영향을 미치는가?
• RQ2 ConvNets에서 중간 수준 특징 융합이 다중스펙트럼 보행자 검출에서 조기 또는 후기 융합보다 더 우수한 검출 시너지를 낼 수 있는가?
• RQ3 색상 및 열화상 영상의 보완적 정보를 통합하면 단일 모달 검출기 대비 누락률을 상당히 감소시킬 수 있는가?
• RQ4 RPN의 제안 품질은 어떤 정도 향상될 수 있는가? 특히 낮은 제안 수에서 재현율 측정을 통해 평가한다.
• RQ5 실세계 보행자 검출에서 다양한 조도 및 환경 조건에서 가장 강력한 성능을 보이는 융합 전략은 무엇인가?

주요 결과

• 중간 수준의 합성 레이어에서 특징을 융합하는 Halfway Fusion 모델은 KAIST 벤치마크에서 전체 누락률 36.99%를 기록하며 최저 수준을 달성한다.
• Halfway Fusion는 기준 Faster R-CNN 대비 11% 낮은 누적률을 기록하여 다중스펙트럼 융합의 뚜렷한 성능 향상을 입증한다.
• 50개의 제안에서 94%의 재현율을 달성하며, Faster R-CNN-C 및 Faster R-CNN-T는 유사한 재현율에 도달하기 위해 약 80개의 제안이 필요하다.
• 300개의 제안에서 IoU 0.6일 때 93.9%의 재현율을 기록하여 다른 모델을 압도하며, 정답과의 겹침이 더 높은 품질의 제안을 제공함을 보여준다.
• 다음으로 우수한 융합 아키텍처보다 3.5% 낮은 누적률을 기록하여, Halfway Fusion 모델이 다중스펙트럼 시너지에서 뛰어난 우수성을 입증한다.
• 별도로 훈련된 색상 및 열화상 검출기는 상호 보완적인 검출 결정을 제공하며, 이는 다중스펙트럼 융합이 24시간 기반 강력한 보행자 검출에 잠재력을 지닌다는 것을 검증한다.