[論文レビュー] Depth Estimation from Monocular Images and Sparse Radar Data

Juan-Ting Lin, Dengxin Dai+1 more|arXiv (Cornell University)|Jan 1, 2020

Advanced Vision and Imaging参考文献 44被引用数 4

ひとこと要約

本稿では、モノクロアレイRGB画像とスパースでノイジーなレーダデータを融合させることで、密度の高い深度推定を向上させる2段階のディーブラーニング手法を提案する。ノイズ除去モジュールとスムーズネス損失を導入することで、レーダのノイズに効果的に対処し、nuScenesデータセットにおいて、夜間の条件下でもRGBのみの手法や既存のLiDARベースの融合手法を上回る性能を発揮する。

ABSTRACT

In this paper, we explore the possibility of achieving a more accurate depth estimation by fusing monocular images and Radar points using a deep neural network. We give a comprehensive study of the fusion between RGB images and Radar measurements from different aspects and proposed a working solution based on the observations. We find that the noise existing in Radar measurements is one of the main key reasons that prevents one from applying the existing fusion methods developed for LiDAR data and images to the new fusion problem between Radar data and images. The experiments are conducted on the nuScenes dataset, which is one of the first datasets which features Camera, Radar, and LiDAR recordings in diverse scenes and weather conditions. Extensive experiments demonstrate that our method outperforms existing fusion methods. We also provide detailed ablation studies to show the effectiveness of each component in our method.

研究の動機と目的

• 屋外環境におけるノイジーでスパースなレーダデータを用いた密度の高い深度推定の課題に対処すること。
• 既存のLiDAR-RGB融合手法がレーダ-RGB融合に適用された際に失敗する理由を調査すること。
• レーダデータを効果的に活用して深度予測の精度を向上させる、ロバストでエンドツーエンドのディープラーニングフレームワークを開発すること。
• 提案手法の有効性を、多様な照明および天候条件下でのnuScenesデータセット上で示すこと。

提案手法

• 本手法は2段階のアーキテクチャを採用する：まずスパースなレーダ測定値をノイズ除去および精錬し、次にそれらをRGB特徴と融合して深度予測を行う。
• レーダデータ品質の主な課題に対処するため、融合の前にノイズの多いレーダポイントをフィルタリングする、新規のノイズ除去モジュールを導入する。
• 最初の段階では、スムーズネス損失を用いて深度予測を正則化し、局所的な一貫性を向上させることで、外れ値に対してよりロバストな性能を実現する。
• RGBおよびノイズ除去済みレーダブランチの特徴マップを連結することで、ラテント融合を実現し、その後にデコーダを用いて密度の高い深度出力を得る。
• 一般化性能を向上させるために、L1損失とスムーズネス正則化を組み合わせたマルチタスク損失を用いてネットワークを訓練する。
• 標準的な指標（RMSE、MAE、δ1、δ2、REL、MAElog）を用いて、nuScenesデータセット上でモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 既存のLiDAR-RGB融合手法が、なぜレーダ-RGB融合に適用された際に失敗するのか？
• RQ2 スパースでノイジーなレーダデータを効果的に活用して、モノクロアレイ深度推定を向上させることは可能か？
• RQ3 モノクロアレイ画像とレーダデータを融合する際、ロバストな深度推定に不可欠な要素は何か？
• RQ4 本手法は、夜間のような困難な条件下でどのように性能を発揮するか？

主な発見

• ノイズ除去とスムーズネス損失を備えた2段階モデルは、夜間データにおいてRGBのみのベースライン比でMAElogで19.79%の相対的改善を達成した。
• 昼間のサブセットでは、本手法はRMSEを7.54%、MAEを18.14%低減した。
• アブレーションスタディの結果、ノイズ除去モジュールとスムーズネス損失の両方が重要であることが確認され、いずれかを無効化すると顕著な性能低下が生じた。
• 定性的な結果から、特に夜間条件下において、CSPN や Sparse-to-dense よりも細部をよりよく保持した深度マップが得られていることが示された。
• 生のレーダデータを用いた早期融合ベースラインは、RGBのみのモデルよりも性能が悪く、ノイジーなレーダ入力の前処理の必要性を強調している。
• CSPN や Sparse-to-dense などの最先端のRGB+LiDAR融合モデルをレーダに適応した場合でも、本手法はそれを上回る性能を示し、レーダ-RGB融合に有効であることを裏付けた。