[논문 리뷰] Optimal Sensor Data Fusion Architecture for Object Detection in Adverse Weather Conditions

Andreas Pfeuffer, Klaus Dietmayer|arXiv (Cornell University)|2018. 07. 06.

Remote-Sensing Image Classification인용 수 7

한 줄 요약

이 논문은 악천후에서의 물체 검출을 위한 후기 융합 센서 데이터 아키텍처를 제안하며, 융합을 연기할수록 센서 성능 저하 및 악천후 조건에 대한 강건성이 향상됨을 입증한다. 악천후 데이터로 훈련하고 공간 캘리브레이션을 사전 지식으로 통합함으로써, 표준 모델 대비 악천후-Kitti에서 최대 20% 높은 mAP를 달성한다. 후기 융합이 모든 지표에서 초기 융합 및 중간 융합을 앞서며 우월하다.

ABSTRACT

A good and robust sensor data fusion in diverse weather conditions is a quite challenging task. There are several fusion architectures in the literature, e.g. the sensor data can be fused right at the beginning (Early Fusion), or they can be first processed separately and then concatenated later (Late Fusion). In this work, different fusion architectures are compared and evaluated by means of object detection tasks, in which the goal is to recognize and localize predefined objects in a stream of data. Usually, state-of-the-art object detectors based on neural networks are highly optimized for good weather conditions, since the well-known benchmarks only consist of sensor data recorded in optimal weather conditions. Therefore, the performance of these approaches decreases enormously or even fails in adverse weather conditions. In this work, different sensor fusion architectures are compared for good and adverse weather conditions for finding the optimal fusion architecture for diverse weather situations. A new training strategy is also introduced such that the performance of the object detector is greatly enhanced in adverse weather scenarios or if a sensor fails. Furthermore, the paper responds to the question if the detection accuracy can be increased further by providing the neural network with a-priori knowledge such as the spatial calibration of the sensors.

연구 동기 및 목표

• 악천후 조건에서의 물체 검출을 위한 센서 융합 아키텍처—초기 융합, 중간 융합, 후기 융합—을 평가하고 비교하는 것.
• 실세계 악천후 환경에 배포될 때 최신 물체 검출기(예: Faster R-CNN)의 성능 저하 문제를 해결하는 것.
• 센서 공간 캘리브레이션과 같은 사전 지식을 통합함으로써 검출 정확도 향상 여부를 조사하는 것.
• 센서 고장 및 열악한 날씨 조건에 대한 강건성을 향상시키는 훈련 전략을 개발하는 것.
• 양호한 날씨 조건에서 최적의 융합 아키텍처가 악천후 조건에서도 여전히 최적인지 여부를 확인하는 것.

제안 방법

• 연구는 기초 검출기로 Faster R-CNN를 사용하고, 초기 융합(카메라 및 라이다 특징의 조기 연결), 중간 융합(중간 특징 수준에서 융합), 후기 융합(별도의 특징 추출 후 후기 연결)의 세 가지 융합 아키텍처를 평가한다.
• 악천후-Kitti 데이터셋으로 훈련된 모델을 미세조정함으로써 dense, 비, 눈, 저조도 조건에서의 성능 향상을 위한 새로운 훈련 전략을 도입한다.
• 센서 간 공간 캘리브레이션 정보를 신경망 아키텍처에 사전 지식으로 통합하여 특징 정렬 및 융합 정확도 향상에 기여한다.
• 평가에는 VGG16과 VGG16m를 특징 인코더로 사용하고, 표준 Kitti 및 악천후-Kitti 벤치마크에서 mAP를 계산한다.
• 동일한 훈련 조건과 초모수를 사용하여 융합 전략 간 공정한 평가를 보장한다.
• 센서 고장(예: 라이다 데이터 없음)이 다양한 융합 유형의 검출 성능에 미치는 영향을 분석한다.

실험 결과

연구 질문

• RQ1 악천후 조건에서 후기 융합이 초기 융합 및 중간 융합보다 물체 검출 성능에서 뛰어나게 되는가?
• RQ2 좋은 날씨 데이터로만 훈련된 모델에 비해 악천후 데이터로 훈련함으로써 검출기의 강건성이 크게 향상되는가?
• RQ3 공간 캘리브레이션을 사전 지식으로 통합하면 특히 소형 신경망에서 검출 정확도가 향상되는가?
• RQ4 양호한 날씨 조건에서 최적의 융합 아키텍처가 악천후 조건에서도 여전히 최적인가?
• RQ5 센서 고장(예: 라이다 데이터 없음)이 다양한 융합 아키텍처의 성능에 미치는 영향은 어떠한가?

주요 결과

• 후기 융합은 모든 클래스와 특징 인코더에서 악천후 조건에서 초기 융합 및 중간 융합을 일관되게 앞서며 가장 높은 mAP를 달성한다.
• 악천후-Kitti 데이터셋으로 훈련함으로써 VGG16m의 mAP가 평균적으로 약 20% 향상되었지만, 표준 Kitti에서 성능이 5% 하락하는 데에 비용이 들었다.
• VGG16과 같은 더 큰 네트워크의 경우, 악천후-Kitti에서의 mAP가 향상되었고, 표준 Kitti에서의 성능은 유지되거나 약간 향상되었다.
• 후기 융합은 센서 고장에 대해 뛰어난 내성 보존을 보였다: 라이다 데이터가 제거된 경우, 최신 기술인 Faster R-CNN보다 유의미하게 높은 정확도를 유지했다.
• 공간 캘리브레이션을 사전 지식으로 통합함으로써 성능 향상이 이루어졌으며, 특히 소형 네트워크에서 두드러진 효과를 보였다. 그러나 가장 뚜렷한 효과는 후기 융합에서 관찰되었다.
• 결과는 후기 융합이 더 나은 강건성을 제공함을 확인한다. 초기 융합은 센서 노이즈 및 고장을 전체 특징 추출 파이프라인에 전파하기 때문이다.