[논문 리뷰] Lidar Light Scattering Augmentation (LISA): Physics-based Simulation of Adverse Weather Conditions for 3D Object Detection

Velat Kilic, Deepti Hegde외 4명|arXiv (Cornell University)|2021. 07. 14.

Remote Sensing and LiDAR Applications참고 문헌 27인용 수 39

한 줄 요약

LISA는 물리 기반 하이브리드 몬테카를로 시뮬레이터를 도입하여 악천후 효과(비, 눈, 안개)가 포함된 LiDAR 스캔을 보강하고 3D 물체 탐지기를 향상시킨다.

ABSTRACT

Lidar-based object detectors are critical parts of the 3D perception pipeline in autonomous navigation systems such as self-driving cars. However, they are known to be sensitive to adverse weather conditions such as rain, snow and fog due to reduced signal-to-noise ratio (SNR) and signal-to-background ratio (SBR). As a result, lidar-based object detectors trained on data captured in normal weather tend to perform poorly in such scenarios. However, collecting and labelling sufficient training data in a diverse range of adverse weather conditions is laborious and prohibitively expensive. To address this issue, we propose a physics-based approach to simulate lidar point clouds of scenes in adverse weather conditions. These augmented datasets can then be used to train lidar-based detectors to improve their all-weather reliability. Specifically, we introduce a hybrid Monte-Carlo based approach that treats (i) the effects of large particles by placing them randomly and comparing their back reflected power against the target, and (ii) attenuation effects on average through calculation of scattering efficiencies from the Mie theory and particle size distributions. Retraining networks with this augmented data improves mean average precision evaluated on real world rainy scenes and we observe greater improvement in performance with our model relative to existing models from the literature. Furthermore, we evaluate recent state-of-the-art detectors on the simulated weather conditions and present an in-depth analysis of their performance.

연구 동기 및 목표

• LiDAR 기반 3D 물체 탐지기가 비, 눈, 안개와 같은 악천후 조건에서 견고하도록 동기를 부여한다.
• 날씨 보강 LiDAR 포인트 클라우드를 생성하기 위한 물리 기반 시뮬레이션 파이프라인을 개발한다.
• 날씨 보강 데이터가 실제 우천 환경에서의 성능 향상을 위해 최첨단 탐지기를 재학습시키는 방법을 시연한다.
• 문헌에 있는 기존 날씨 시뮬레이션 모델과 제안된 보강의 벤치마킹을 수행한다.

제안 방법

• 큰 입자 산란역치를 포함한 하이브리드 몬테카를로 LiDAR 산란체 시뮬레이터를 개발하여 Mie 이론에서의 물리 기반 감쇠와 결합한다.
• 산란 이론으로부터 소구 입자(Mie 이론으로 모델링)와 입자 크기 분포(Marshall-Palmer for rain, gamma for fog/snow)를 사용하여 소멸 계수를 계산한다.
• 전송 강도 모델링에 Beer-Lambert 법칙을 사용하고 역반사 파워에 지수 감쇠 e^{-2αR}를 적용한다.
• 가우시안 빔 와이스트를 모델링하고 SNR 기반 탐지 가능도를 통해 거리 의존 빔 발산 및 거리 불확실성을 포함하여 각 포인트의 포함 여부를 결정한다.
• KITTI/Waymo 데이터세트를 기존으로 보강하며 비, 눈, 안개 시뮬레이션을 적용하고 탐지기를 재학습시켜 견고성을 평가한다.
• 두 가지 변형을 제공한다: 몬테카를로 산란이 포함된 전체 LISA와 계산 효율성을 위한 미니-LISA(안개 중심)

실험 결과

연구 질문

• RQ1 물리 기반 산란 및 대기 모델을 실용적인 LiDAR 날씨 시뮬레이터에 어떻게 통합할 수 있는가?
• RQ2 날씨 보강 데이터로 학습되거나 미세조정된 탐지기가 실제 악천후에 더 잘 일반화하는가?
• RQ3 비 강도, 안개 밀도 및 입자 크기 분포가 LiDAR 반사, 거리 정확도 및 탐지기 성능에 어떤 영향을 미치는가?
• RQ4 LISA가 실제로 현실감과 3D 객체 탐지 성능에 미치는 영향 측면에서 기존의 날씨 시뮬레이션 방법과 어떻게 비교되는가?

주요 결과

• LISA-보강 데이터로 재학습하면 실제 비 구간에서의 평균 정밀도 증가가 기존 방법보다 더 크다.
• LISA는 실제 비에서 다수의 아키텍처(PointPillars, PV-RCNN, deformable PV-RCNN 등)에서 탐지기를 개선하는 데 있어 기존 모델보다 우수한 성능을 보인다.
• 감쇠 및 무작위 역산 산란으로 인한 누락 포인트가 비에서 탐지를 저하시키는 주요 요인이며 포인트 인코딩 방식이 가장 큰 영향을 받는다.
• 안개는 먼 거리 포인트 손실 및 거리 불확실성을 유발하고, 눈은 더 강한 산란을 추가한다.
• KITTI/Waymo 평가 전반에 걸쳐 LISA 기반 재학습이 다른 시뮬레이터들에 비해 실제 악천후 데이터에서 더 나은 또는 거의 최상에 가까운 성능 향상을 자주 보인다。）