[논문 리뷰] Fusion of Multispectral Data Through Illumination-aware Deep Neural Networks for Pedestrian Detection

Dayan Guan, Yanpeng Cao외 3명|arXiv (Cornell University)|2018. 02. 27.

Video Surveillance and Tracking Methods참고 문헌 11인용 수 19

한 줄 요약

이 논문은 일광 및 야간 조건에서 다중스펙트럼 보행자 검출에 대해 강건한 성능을 발휘하는 일조도 인식 두 개의 스트림 딥 네트워크(IATDNN)를 제안한다. 완전 연결 네트워크를 통해 일조도를 추정하고, 일/야간 하위 네트워크에 적응형 가중치를 적용함으로써 검출 정확도와 효율성을 향상시켰으며, KAIST 데이터셋에서 26.37%의 MR을 달성하여 최신 기술 대비 11% 향상되었고, 인fer런스 시간은 0.25초/이미지로 낮게 유지되었다.

ABSTRACT

Multispectral pedestrian detection has received extensive attention in recent years as a promising solution to facilitate robust human target detection for around-the-clock applications (e.g. security surveillance and autonomous driving). In this paper, we demonstrate illumination information encoded in multispectral images can be utilized to significantly boost performance of pedestrian detection. A novel illumination-aware weighting mechanism is present to accurately depict illumination condition of a scene. Such illumination information is incorporated into two-stream deep convolutional neural networks to learn multispectral human-related features under different illumination conditions (daytime and nighttime). Moreover, we utilized illumination information together with multispectral data to generate more accurate semantic segmentation which are used to boost pedestrian detection accuracy. Putting all of the pieces together, we present a powerful framework for multispectral pedestrian detection based on multi-task learning of illumination-aware pedestrian detection and semantic segmentation. Our proposed method is trained end-to-end using a well-designed multi-task loss function and outperforms state-of-the-art approaches on KAIST multispectral pedestrian dataset.

연구 동기 및 목표

• 실세계 감시 및 자율주행 환경에서 일조도 조건이 다양할 경우 보행자 검출 성능이 열 劣하는 문제를 해결한다.
• 저조도, 악천후 또는 가림현상에서 성능이 저하되는 단일 모odal(가시광선 전용) 검출기의 한계를 극복한다.
• 보완적인 가시광선 및 적외선 데이터를 활용하여 다중스펙트럼 보행자 검출의 강건성과 정확도를 향상시킨다.
• 일조도 인식 검출 및 의미 세그멘테이션을 동시에 최적화하는 엔드 투 엔드 학습 가능한 프레임워크를 개발한다.
• 실제 구현에 적합한 낮은 인퍼런스 지연 시간을 유지하면서 높은 검출 정확도를 달성한다.

제안 방법

• 추정된 일조도 조건에 따라 일 또는 야간 하위 네트워크에 주의를 동적으로 할당하는 일조도 인식 가중치 메커니즘을 제안한다.
• 다중스펙트럼 의미 특징을 사용하여 일조도 인식 가중치를 예측하는 완전 연결 일조도 네트워크(IFCNN)를 훈련시킨다.
• 낮과 밤에 각각 특화된 검출 조건에서 보행자를 검출할 수 있도록 낮과 밤의 하위 네트워크를 별도로 구현한 두 개의 스트림 딥 네트워크(TDNN)를 구현한다.
• 특징 학습을 향상시키고 오진 억제를 위해 일조도 인식 세그멘테이션 마스크를 감독 신호로 통합한다.
• 다중 작업 손실 함수를 사용하여 보행자 검출과 의미 세그멘테이션을 동시에 최적화함으로써 특징 공유를 가능하게 하고 일반화 능력을 향상시킨다.
• 학습된 가중치를 사용하여 일 및 야간 하위 네트워크의 출력을 융합하여 일조도 변화에 강건한 최종 검출 결과를 도출한다.

실험 결과

연구 질문

• RQ1 딥 네트워크를 사용하여 다중스펙트럼 이미지의 일조도 조건을 정확히 추정할 수 있는가? 이는 특징 학습을 안내하는 데 기여하는가?
• RQ2 일조도 인식 가중치를 통합함으로써 일/야간 환경에서의 보행자 검출 성능이 향상되는가?
• RQ3 검출과 의미 세그멘테이션의 공동 학습이 검출 정확도 향상과 오진 감소에 기여하는가?
• RQ4 최신 기술 대비 제안된 방법의 정확도와 효율성은 어떻게 비교되는가?
• RQ5 다중스펙트럼 보행자 검출에서 일조도 인식 의미 세그멘테이션에 가장 적합한 아키텍처는 무엇인가?

주요 결과

• 제안된 IATDNN+IASS 방법은 KAIST 올데이 벤치마크에서 26.37%의 미검출률(MR)을 달성하여 이전 최신 기술인 Fusion RPN + BDT(29.68% MR) 대비 11% 상대적 향상된 성능을 보였다.
• IATDNN는 세그멘테이션 없이도 29.62% MR을 기록했으며, 낮에는 Fusion RPN + BDT(30.51% MR)를 초월하고 야간에는 26.88% vs. 27.62%로 매우 유사한 성능을 보였다.
• 일조도 인식 의미 세그멘테이션 모듈은 이중 검출로 인한 오진을 크게 감소시켜 검출 신뢰도를 향상시켰다.
• 이 방법은 0.25초/이미지의 속도로 실행되며, 현재 최신 기술 대비 더 빠르다(예: Halfway Fusion는 0.40초/이미지, Fusion RPN + BDT는 0.80초/이미지).
• 일조도 인식 의사결정 단계의 의미 세그멘테이션은 다른 아키텍처에 비해 가장 신뢰할 수 있는 세그멘테이션 출력을 제공하며 융합 정확도에서 승리했다.
• 일조도 추정 네트워크(IFCNN)는 높은 정확도로 일조도 조건을 정확히 예측하여 하위 네트워크의 동적 가중치 할당을 효과적으로 가능하게 했다.