[論文レビュー] 4DenoiseNet: Adverse Weather Denoising from Adjacent Point Clouds

Alvari Seppänen, Risto Ojala+1 more|arXiv (Cornell University)|Sep 15, 2022

Remote Sensing and LiDAR Applications被引用数 5

ひとこと要約

4DenoiseNetは、隣接するLiDAR点群における空間的・時間的k近傍法畳み込みを活用する画期的な深層学習フレームワークであり、雪、雨、霧などの悪天候要因に起因するノイズを除去する。SnowyKITTIデータセットおよびカナダの悪天候走行条件データを用いた検証により、交差和集合（IoU）で10%の向上を達成し、ドメインシフトに対しても優れた汎化性能を示し、最先端の性能を達成した。

ABSTRACT

Reliable point cloud data is essential for perception tasks extit{e.g.} in robotics and autonomous driving applications. Adverse weather causes a specific type of noise to light detection and ranging (LiDAR) sensor data, which degrades the quality of the point clouds significantly. To address this issue, this letter presents a novel point cloud adverse weather denoising deep learning algorithm (4DenoiseNet). Our algorithm takes advantage of the time dimension unlike deep learning adverse weather denoising methods in the literature. It performs about 10\% better in terms of intersection over union metric compared to the previous work and is more computationally efficient. These results are achieved on our novel SnowyKITTI dataset, which has over 40000 adverse weather annotated point clouds. Moreover, strong qualitative results on the Canadian Adverse Driving Conditions dataset indicate good generalizability to domain shifts and to different sensor intrinsics.

研究の動機と目的

• 空中粒子によるLiDAR点群の劣化という深刻な課題に取り組むこと。具体的には、雪、雨、霧などの悪天候に起因する影響を対象とする。
• 物体検出やナビゲーションなどの下流の認識タスクにおける耐性および正確性を向上させるために、天候に起因するノイズを除去すること。
• 古典的手法および先行の学習済み手法の限界を乗り越えるために、隣接する点群における時間的整合性と空間的構造を活用すること。
• さまざまな天候条件およびセンサ構成（ドメインシフトを含む）にわたって良好に動作する汎用性の高いモデルを開発すること。
• 学習および評価用に使用可能な大規模かつ点単位でアノテーションが付与されたベンチマークデータセット（SnowyKITTI）を構築すること。

提案手法

• モデルは、時間的ダイナミクスを活用するため、連続する点群 $\mathbf{P}^{(t)}$ と $\mathbf{P}^{(t-1)}$ を処理する二重ブランチエンコーダアーキテクチャを採用している。
• 空間的・時間的k近傍法（kNN）畳み込み層を新たに設計し、隣接フレーム間での局所的な幾何学的および運動パターンを捉える。
• 動きに従う注意機構（MGA）により、不一致した動きを示す領域に注目することで、特徴の学習を強化する。
• 実際の晴天時のLiDARスキャンに物理ベースの天候効果を適用して生成した半実験的データを用いて、教師あり学習でモデルを最適化する。
• 一般化性能を向上させるために、入力特徴を $(r, x, y, z)$ に制限し、強度を除外してドメインバイアスを回避する。
• エンドツーエンドの点単位分類によるノイズ点の識別を最適化し、その後ノイズ点を削除することでクリーンな出力点群を生成する。

実験結果

リサーチクエスチョン

• RQ1 隣接するLiDAR点群からの時間的情報を活用することで、単一フレーム手法と比較して悪天候ノイズ除去の正確性が顕著に向上するか？
• RQ2 空間的および時間的kNN畳み込みの統合が、さまざまな天候強度およびセンサ構成に対する耐性をどのように向上させるか？
• RQ3 半実験的データで学習したモデルが、ドメインシフトを伴う実世界の悪天候シナリオにどれほど一般化できるか？
• RQ4 学習時に強度チャネルを除外することで、垂直分解能が異なるさまざまなLiDARセンサモデルへの一般化性能が向上するか？
• RQ5 提案手法が、多様な天候条件下で定量的指標および定性的な耐性の両面で、既存の最先端手法を上回るか？

主な発見

• 4DenoiseNetは、SnowyKITTIデータセットにおいて、先行する最先端手法であるWeatherNetと比較して10%高い交差和集合（IoU）を達成した。
• モデルは、すべての降雪強度（軽度、中程度、重度）で高い性能を維持し、全条件で学習した場合、IoUスコアはそれぞれ0.975、0.976、0.977を記録した。
• アブレーションスタディの結果、空間的および時間的kNN畳み込みモジュールの両方が不可欠であることが確認され、完全なモデルでは推論時間を19msに短縮し、最高のIoUを達成した。
• カナダの悪天候走行条件データセットにおける定性的な結果から、4DenoiseNetは、2.8倍の垂直分解能の差があるトレーニングとテストセンサ間でも、重度の降雪下における閉塞物体の可視性を効果的に回復していることが示された。
• 学習時に強度チャネルを除外することで、未観測のセンサインラインの一般化性能が顕著に向上し、強度に基づくバイアスがドメインシフト失敗の主な要因であることが示された。
• モデルは、未観測の天候タイプおよびセンサ構成に対しても良好に一般化し、ドメインシフトに対する耐性を示した。これは、半実験的データで学習したにもかかわらず、実世界データで強い性能を発揮したことで裏付けられている。