[論文レビュー] Lidar Light Scattering Augmentation (LISA): Physics-based Simulation of Adverse Weather Conditions for 3D Object Detection

Velat Kilic, Deepti Hegde+4 more|arXiv (Cornell University)|Jul 14, 2021

Remote Sensing and LiDAR Applications参考文献 27被引用数 39

ひとこと要約

LISA は物理ベースのハイブリッド Monte-Carlo シミュレータを導入し、悪天候（雨、雪、霧）による LiDAR スキャンを拡張して3D物体検出を改善する。

ABSTRACT

Lidar-based object detectors are critical parts of the 3D perception pipeline in autonomous navigation systems such as self-driving cars. However, they are known to be sensitive to adverse weather conditions such as rain, snow and fog due to reduced signal-to-noise ratio (SNR) and signal-to-background ratio (SBR). As a result, lidar-based object detectors trained on data captured in normal weather tend to perform poorly in such scenarios. However, collecting and labelling sufficient training data in a diverse range of adverse weather conditions is laborious and prohibitively expensive. To address this issue, we propose a physics-based approach to simulate lidar point clouds of scenes in adverse weather conditions. These augmented datasets can then be used to train lidar-based detectors to improve their all-weather reliability. Specifically, we introduce a hybrid Monte-Carlo based approach that treats (i) the effects of large particles by placing them randomly and comparing their back reflected power against the target, and (ii) attenuation effects on average through calculation of scattering efficiencies from the Mie theory and particle size distributions. Retraining networks with this augmented data improves mean average precision evaluated on real world rainy scenes and we observe greater improvement in performance with our model relative to existing models from the literature. Furthermore, we evaluate recent state-of-the-art detectors on the simulated weather conditions and present an in-depth analysis of their performance.

研究の動機と目的

• 雨・雪・霧などの悪天候下での LiDAR ベースの3D物体検出器の頑健性を動機づける。
• 物理に基づくシミュレーションパイプラインを開発し、天候拡張された LiDAR 点群を生成する。
• 天候拡張データが最先端検出器を再学習させ、実世界の雨性能を向上させられることを実証する。
• 提案手法の拡張を、文献中の既存の天候シミュレーションモデルと比較評価する。

提案手法

• 大粒子の後方散乱処理と Mie 理論による物理ベースの減衰を組み合わせたハイブリッド Monte Carlo LiDAR 散乱体シミュレータを開発する。
• Mie 理論でモデル化した球状粒子と粒子サイズ分布（雨は Marshall-Palmer、霧/雪は gamma）を用いて散乱理論から消散係数を計算する。
• Beer-Lambert 法則を用いて伝搬強度をモデル化し、反射後のパワーには指数減衰 e^{-2αR} を適用する。
• ガウスビーム腰部をモデル化し SNR ベースの検出可能性を用いて、距離依存のビーム発散と距離不確かさを組み込み、各点の含有/欠落を決定する。
• KITTI/Waymo の既存データセットを雨・雪・霧のシミュレーションを適用して拡張し、頑健性を評価するために検出器を再学習させる。
• 2 つのバリアントを提供: Monte Carlo 散乱を用いたフル LISA と、計算効率のためのミニ-LISA（霧に焦点）。

実験結果

リサーチクエスチョン

• RQ1 物理ベースの散乱と大気モデルを、実用的な LiDAR 天候シミュレータにどのように統合できるか？
• RQ2 天候拡張データで訓練または微調整された検出器は、実際の悪天候に対してよりよく一般化するか？
• RQ3 雨量、霧密度、粒子サイズ分布が LiDAR のリターン、距離精度、検出器性能にどう影響するか？
• RQ4 現実性と3D物体検出性能への影響の点で、LISA は従来の天候シミュレーション手法とどう比較されるか？

主な発見

• LISA 拡張データでの再訓練は、実際の雨天シーンで既存手法と比較して平均精度 (mAP) の向上を大きくもたらす。
• LISA は、実雨下で複数のアーキテクチャ（例: PointPillars、PV-RCNN、deformable PV-RCNN）において検出器の性能を向上させる点で従来モデルを上回る。
• 減衰と偶発的な後方散乱による欠落点が、雨天で検出を低下させる主要因であることを分析は示しており、PointPillars のような点をエンコードする手法が最も影響を受けやすい。
• 霧と雪は異なる視覚効果を持つ。霧は遠距離点の損失と距離不確かさを誘発し、雪はより強い散乱をもたらす。
• KITTI/Waymo の評価では、実際の悪天候データで検証した場合、LISA ベースの再訓練が他のシミュレータに対して最良またはほぼ最良の性能向上をもたらすことが多い。）