[논문 리뷰] GFD-SSD: Gated Fusion Double SSD for Multispectral Pedestrian Detection

Yang Zheng, Izzat H. Izzat외 1명|arXiv (Cornell University)|2019. 03. 16.

Advanced Neural Network Applications참고 문헌 29인용 수 35

한 줄 요약

다중 스펙트럼 보행자 탐지를 위해 색상 스트림과 열 스트림을 융합하는 Gated Fusion Double SSD (GFD-SSD)를 소개하여, Faster-RCNN 기반 융합 네트워크보다 더 빠른 추론 속도와 더 낮은 미스 비율을 달성한다.

ABSTRACT

Pedestrian detection is an essential task in autonomous driving research. In addition to typical color images, thermal images benefit the detection in dark environments. Hence, it is worthwhile to explore an integrated approach to take advantage of both color and thermal images simultaneously. In this paper, we propose a novel approach to fuse color and thermal sensors using deep neural networks (DNN). Current state-of-the-art DNN object detectors vary from two-stage to one-stage mechanisms. Two-stage detectors, like Faster-RCNN, achieve higher accuracy, while one-stage detectors such as Single Shot Detector (SSD) demonstrate faster performance. To balance the trade-off, especially in the consideration of autonomous driving applications, we investigate a fusion strategy to combine two SSDs on color and thermal inputs. Traditional fusion methods stack selected features from each channel and adjust their weights. In this paper, we propose two variations of novel Gated Fusion Units (GFU), that learn the combination of feature maps generated by the two SSD middle layers. Leveraging GFUs for the entire feature pyramid structure, we propose several mixed versions of both stack fusion and gated fusion. Experiments are conducted on the KAIST multispectral pedestrian detection dataset. Our Gated Fusion Double SSD (GFD-SSD) outperforms the stacked fusion and achieves the lowest miss rate in the benchmark, at an inference speed that is two times faster than Faster-RCNN based fusion networks.

연구 동기 및 목표

• 다양한 조명 조건에서 색상과 열 이미지를 모두 활용하여 강건한 보행자 탐지를 촉진한다.
• 학습 가능한 특징 융합 유닛을 갖춘 두 개의 SSD 검출기를 결합하는 융합 전략을 개발한다.
• 효율적인 융합 아키텍처를 탐색하여 자율 주행 응용에서 정확도와 속도의 균형을 달성한다.

제안 방법

• 두 개의 SSD 중간 계층으로부터 특징 맵을 결합하도록 학습하는 두 가지 변형의 새로운 GFU(Gated Fusion Units)를 제안한다.
• 전체 피처 피라미드에 GFU를 적용하여 혼합 스택(mixed stack) 및 게이트된 융합(gated fusion) 전략을 만든다.
• 간단한 특징 스태킹이 아니라 학습된 특징 레벨 융합을 통해 색상과 열 SSD를 융합한다.
• KAIST 다중스펙트럴 보행자 탐지 데이터셋에서 평가하여 스택드 융합 베이스라인 및 Faster-RCNN 기반 융합 네트워크와 비교한다.

실험 결과

연구 질문

• RQ1 게이트된 융합 유닛이 다중 스펙트럴 보행자 탐지에서 간단한 특징 스태킹보다 교차 센서 특징 통합을 더 효과적으로 학습할 수 있는가?
• RQ2 두 개의 SSD 프레임워크에서 GFU를 통해 색상 및 열 스트림을 통합하는 것이 실시간 속도를 유지하면서 미스 비율을 개선하는가?
• RQ3 KAIST 데이터에서 GFD-SSD가 Faster-RCNN 기반 융합 네트워크와 정확도 및 추론 속도 측면에서 어떻게 비교되는가?

주요 결과

• KAIST 다중스펙트럼 보행자 데이터셋에서 GFD-SSD가 스택드 융합 베이스라인보다 우수한 성능을 보인다.
• 제안된 방법은 평가된 방법들 중 벤치마크에서 가장 낮은 미스 비율을 달성한다.
• 추론 속도는 Faster-RCNN 기반 융합 네트워크보다 두 배 빠르다.