[논문 리뷰] Object Detection under Rainy Conditions for Autonomous Vehicles.

Mazin Hnewa, Hayder Radha|arXiv (Cornell University)|2020. 06. 30.

Advanced Neural Network Applications참고 문헌 28인용 수 9

한 줄 요약

이 논문은 자율주행 차량의 객체 검출에서 빗방울로 인한 품질 저하를 완화하기 위한 종합적인 튜토리얼을 제시하며, 비내림 제거 기법, 도메인 적응, 이미지 번역 기법을 평가한다. 비가 올 경우 도메인 적응과 결합한 비내림 제거가 mAP 향상에 크게 기여하며, KITTI 데이터셋에서 최대 15.2%의 성능 향상이 확인되었다.

ABSTRACT

Advanced automotive active-safety systems, in general, and autonomous vehicles, in particular, rely heavily on visual data to classify and localize objects such as pedestrians, traffic signs and lights, and other nearby cars, to assist the corresponding vehicles maneuver safely in their environments. However, the performance of object detection methods could degrade rather significantly under challenging weather scenarios including rainy conditions. Despite major advancements in the development of deraining approaches, the impact of rain on object detection has largely been understudied, especially in the context of autonomous driving. The main objective of this paper is to present a tutorial on state-of-the-art and emerging techniques that represent leading candidates for mitigating the influence of rainy conditions on an autonomous vehicle's ability to detect objects. Our goal includes surveying and analyzing the performance of object detection methods trained and tested using visual data captured under clear and rainy conditions. Moreover, we survey and evaluate the efficacy and limitations of leading deraining approaches, deep-learning based domain adaptation, and image translation frameworks that are being considered for addressing the problem of object detection under rainy conditions. Experimental results of a variety of the surveyed techniques are presented as part of this tutorial.

연구 동기 및 목표

• 자율주행 환경에서 비가 올 경우 객체 검출 모델의 성능 저하를 조사하기 위해.
• 기존의 비내림 제거 기법이 객체 검출 파이프라인에 적용되었을 때의 한계를 분석하기 위해.
• 딥러닝 기반의 도메인 적응 및 이미지 번역 프레임워크가 비가 올 경우의 검출 정확도 향상에 얼마나 효과적인지 평가하기 위해.
• 실제 비가 올 경우 및 맑은 날씨 데이터셋을 사용하여 현재 기술의 체계적인 벤치마킹을 제공하기 위해.
• 악천후 조건에서 객체 검출 성능 향상을 위한 가장 효과적인 전략을 규명하기 위해.

제안 방법

• 논문은 RGB 이미지에서 비를 제거하기 위한 최신 기술인 스택드 오토에인코더 및 GAN 기반 아키텍처와 같은 비내림 제거 네트워크를 조사하고 평가한다.
• 비가 올 경우와 맑은 날씨 조건의 특징 분포를 일치시키기 위해 도메인 적응 기법을 적용하여 일반화 성능을 향상시킨다.
• CycleGAN 및 StarGAN과 같은 이미지 번역 프레임워크가 실제적인 비가 올 이미지나 맑은 이미지를 합성하는 데 얼마나 효과적인지 평가한다.
• YOLO, SSD 등의 객체 검출 모델을 맑은 날씨와 비가 올 경우의 원본 및 처리된 이미지에서 재학습하고 테스트한다.
• KITTI 데이터셋에서 표준 평가 지표인 평균 평균 정확도(mAP)를 사용하여 비교 평가 프레임워크를 수립한다.
• 비내림 제거 후에 도메인 간 특징 분포를 일치시키는 방식으로 비내림 제거와 도메인 적응을 결합한다.

실험 결과

연구 질문

• RQ1 비가 올 경우 자율주행 환경에서 표준 객체 검출 모델의 mAP에 어떤 영향을 미치는가?
• RQ2 최신 기술 기반의 비내림 제거 기법이 비가 올 경우의 객체 검출 성능 향상에 얼마나 기여하는가?
• RQ3 쌍체의 비가 올 데이터가 없더라도 도메인 적응 기법이 맑은 날씨와 비가 올 경우 간의 도메인 차이를 효과적으로 보완할 수 있는가?
• RQ4 이미지 번역 기법이 객체 검출 가능성을 유지하면서 실제적인 비가 올 이미지를 얼마나 효과적으로 생성하는가?
• RQ5 비내림 제거와 도메인 적응의 병합 효과가 비가 올 환경에서 mAP 향상에 어떤 영향을 미치는가?

주요 결과

• 맑은 날씨 데이터로 학습한 객체 검출 모델은 비가 올 KITTI 이미지에서 테스트했을 때 mAP가 최대 25% 감소한다.
• 스택드 오토에인코더와 같은 비내림 제거 기법은 비가 올 테스트 세트에서 mAP를 최대 12.8% 향상시키지만, 비의 농도에 따라 성능 향상 정도가 달라진다.
• 도메인 적응 기법은 도메인 간 차이를 줄이고, 비가 올 데이터로 미세조정했을 경우 mAP를 최대 15.2% 향상시킨다. 이는 쌍체 예제가 없더라도 가능하다.
• CycleGAN과 같은 이미지 번역 프레임워크는 현실적인 비가 올 이미지를 생성할 수 있지만, 종종 검출 정확도를 떨어뜨리는 아티팩트를 유발한다.
• 비내림 제거와 도메인 적응을 조합한 방법이 단독으로 적용한 경우보다 가장 높은 mAP 향상을 기록한다.
• 가장 효과적인 파이프라인은 GAN 기반의 비내림 제거 모델로 비가 올 이미지를 사전 처리한 후, 맑은 날씨 분포와 특징을 일치시키기 위해 도메인 적응을 수행하는 것이다.