[論文レビュー] Depth Estimation from Monocular Images and Sparse radar using Deep Ordinal Regression Network

Chen-Chou Lo, Patrick Vandewalle|arXiv (Cornell University)|Jul 15, 2021

Advanced Vision and Imaging参考文献 19被引用数 33

ひとこと要約

本論文は、深層順序回帰ネットワーク（DORN）を用いて、高さ拡張された多フレームスパースレーダデータとモノクロナルRGB画像をラテン統合する手法を提案する。これにより、密度の高い深度推定が向上する。レーダー点の垂直方向の拡張を0.5mから0.25–2mに拡大し、二段階のフィルタリング戦略を適用することで、データ密度を向上させ、誤差を低減する。この手法により、昼間、夜間、雨天のすべての条件下でnuScenesデータセットにおいて最先端の性能を達成した。

ABSTRACT

We integrate sparse radar data into a monocular depth estimation model and introduce a novel preprocessing method for reducing the sparseness and limited field of view provided by radar. We explore the intrinsic error of different radar modalities and show our proposed method results in more data points with reduced error. We further propose a novel method for estimating dense depth maps from monocular 2D images and sparse radar measurements using deep learning based on the deep ordinal regression network by Fu et al. Radar data are integrated by first converting the sparse 2D points to a height-extended 3D measurement and then including it into the network using a late fusion approach. Experiments are conducted on the nuScenes dataset. Our experiments demonstrate state-of-the-art performance in both day and night scenes.

研究の動機と目的

• モノクロナル深度推定の限界（絶対的深度が欠如し、不適切な再構成に悩まされる）を、スパースレーダデータの統合によって解消すること。
• 深度推定タスクにおけるレーダーの固有のスパarsity、ノイズ、および限られた垂直視野を克服すること。
• マルチモーダル入力に最適化されていないモノクロナル深度モデルでも、適切に事前処理されたレーダーデータをラテン統合することで恩恵を受けることができることを示すこと。
• レーダーを補助モalityとして用いることで、夜間や雨天といった困難な条件下での深度推定の正確性を向上させること。

提案手法

• 複数フレームのレーダーデータを統合し、1つの高さ（0.5m）から0.25m～2mの範囲に垂直方向に拡張することで、空間的カバレッジとデータ密度を向上させる。
• ノイズの多いレーダーポイントを除去する二段階のフィルタリング戦略を適用し、高さ拡張されたレーダー測定値の品質を向上させる。
• 事前処理済みの高さ拡張レーダーを、DORNネットワークのエンコーダ段階後に特徴を連結するラテン統合アプローチでRGB画像と統合する。
• DORNモデルは、1～80mの深度範囲にわたって間隔を広げる離散化を用いた順序回帰損失を使用し、80個の順序クラスを用いる。
• トレーニング中にガンマコントラスト、明るさ、色調補正、水平反転などのデータ拡張を適用し、耐性を向上させる。
• 真値深度は、スパースLiDARとRGBを用いたカラーリゼーション法による補間で生成され、評価はスパースLiDARアノテーションを用いて実施される。

実験結果

リサーチクエスチョン

• RQ1 ノイズの可能性があるにもかかわらず、スパースレーダーポイントの高さ拡張が深度推定の正確性を向上させることができるか？
• RQ2 事前処理済みのレーダーデータとモノクロナルRGB画像をラテン統合することで、エアリーフュージョンやRGBオンリーベースラインよりも優れた性能が得られるか？
• RQ3 夜間や雨天のような可視性が低い状況下で、レーダーデータの統合が深度推定性能に与える影響は何か？
• RQ4 マルチモーダル統合に特化して設計されていないモノクロナル深度モデルでも、レーダー入力から恩恵を受けることができるか？

主な発見

• レーダーポイントの高さ拡張により、平均点数が215から4,510に増加し、内在的誤差が低減された。δ1は0.350から0.187に、RMSEは25.536から12.184に改善された。
• 高さ拡張されたレーダーを用いたラテン統合手法が最良の性能を示し、全体のテストセットにおいてδ1 = 0.887、RMSE = 5.194、AbsRel = 0.107を達成した。
• 本手法は、すべての条件下でRGBオンリーベースラインを上回った。特に夜間シーンで最大の性能向上が観察され、δ1は0.764から0.782に向上した。
• 高さ拡張レーダーに自己適応δ2フィルタを適用することでさらに結果が向上し、δ1 = 0.892、RMSE = 5.082、AbsRel = 0.107を達成した。特に雨天条件下で顕著な改善が見られた。
• 可視化比較では、本手法がRGBオンリーベースラインに比べて、特に夜間や雨天シーンにおいてより詳細な深度マップを生成することが示された。
• 本手法は悪天候や照明条件の悪化に対しても耐性を示し、昼間および夜間の両方のシナリオで一貫した改善を示した。