[論文レビュー] R4Dyn: Exploring Radar for Self-Supervised Monocular Depth Estimation of Dynamic Scenes

Stefano Gasperini|arXiv (Cornell University)|Aug 10, 2021

Advanced Optical Sensing Technologies参考文献 34被引用数 31

ひとこと要約

R4Dynは、トレーニング中に低コストの自動車レーダーを弱い教師信号として活用し、推論時にもオプションで入力としてレーダーを統合することで、動的物体の深度推定を向上させる、画期的な自己教師付き単眼深度推定フレームワークを提案する。レーダー検出のフィルタリングと拡張により、nuScenesデータセット上で移動する車両の誤差を37%削減し、静的環境を仮定する前提に反する動的シーンにおけるベースライン自己教師付きモデル（例：Monodepth2）を著しく上回る性能を発揮する。

ABSTRACT

While self-supervised monocular depth estimation in driving scenarios has achieved comparable performance to supervised approaches, violations of the static world assumption can still lead to erroneous depth predictions of traffic participants, posing a potential safety issue. In this paper, we present R4Dyn, a novel set of techniques to use cost-efficient radar data on top of a self-supervised depth estimation framework. In particular, we show how radar can be used during training as weak supervision signal, as well as an extra input to enhance the estimation robustness at inference time. Since automotive radars are readily available, this allows to collect training data from a variety of existing vehicles. Moreover, by filtering and expanding the signal to make it compatible with learning-based approaches, we address radar inherent issues, such as noise and sparsity. With R4Dyn we are able to overcome a major limitation of self-supervised depth estimation, i.e. the prediction of traffic participants. We substantially improve the estimation on dynamic objects, such as cars by 37% on the challenging nuScenes dataset, hence demonstrating that radar is a valuable additional sensor for monocular depth estimation in autonomous vehicles.

研究の動機と目的

• 自己教師付き単眼深度推定が動的交通参加者に対して失敗する原因（静的環境仮定の破綻）を解消すること。
• LiDARによる教師付きデータを必要とせず、広く利用可能な自動車レーダーのデータを活用することで、既存の車両でのトレーニングを可能にすること。
• 迎角車両や歩行者などの安全上重要な動的物体における深度推定のロバスト性と正確性を向上させること。
• トレーニング時にレーダーを弱い教師信号として、推論時にレーダーを入力モodalitiyとして統合する手法を開発し、モデルの複雑性を増さずに性能を向上させること。

提案手法

• トレーニング中にフィルタリングおよび拡張されたレーダー検出を教師信号として使用する、画期的な弱いレーダー損失を提案し、動的物体の深度推定を改善する。
• 2次元バウンディングボックスを用いて生レーダー検出をフィルタリングし、空間的に拡張することで、ディープラーニングモデルと互換性のある高密度な学習可能なレーダー特徴を生成する信号処理パイプラインを導入する。
• 自己教師付き深度推定フレームワーク（例：Monodepth2）を、マルチストリームエンコーダーと早期融合を用いて拡張し、推論時に非常にスパースな深度補完を可能にする。
• 光度損失、弱い速度損失、弱いレーダー損失を併用するマルチタスク学習設定を採用し、深度推定とポーズ推定を同時に最適化する。
• データオーグメンテーションおよびドメイン適応技術を適用し、データセット間での一般化性を確保する。特に、nuScenesからKITTIへのドメイン移行を実現する。
• LiDARデータをサブサンプリングしてレーダーのスパarsityとノイズを模倣し、微調整なしにKITTI上で転移学習の実験を可能にする。

実験結果

リサーチクエスチョン

• RQ1 レーダーのデータが、動的物体の自己教師付き単眼深度推定を向上させるために効果的に弱い教師信号として利用可能か？
• RQ2 スパースでノイジーな自動車レーダーのデータを、ディープラーニングベースの深度推定ネットワークと互換性のある形に事前処理する方法は何か？
• RQ3 トレーニング時および推論時にレーダーを統合することで、迎角車両や歩行者などの安全上重要な動的物体における深度推定の正確性が向上するか？
• RQ4 提案手法は、LiDARが存在しないデータセットや実世界のシナリオにも一般化可能か？

主な発見

• R4Dynは、nuScenesデータセット上で、Monodepth2と比較して動的物体（車両）の深度推定誤差を37%削減し、移動する交通参加者の処理において顕著な向上を示した。
• クラス別評価では、「Vehicles」クラスで77.86%のmIoU、「Non-Parked Vehicles」クラスで80.86%のmIoUを達成し、すべてのベースライン手法を上回った。
• KITTIデータセットでも微調整なしに良好な一般化性能を示し、Monodepth2と比較して相対誤差を11.5%改善したが、ドメインギャップが著しかった。
• 弱いレーダー損失のみ（R4Dyn-L）を用いる場合、ベースラインと比較して車両のAbsRel誤差を30.5%削減し、入力融合なしでもレーダーが教師信号として有効であることを示した。
• レーダーの教師信号と入力統合の両方を活用するR4Dyn-LIは、最良の性能を発揮し、車両でAbsRelが0.1551、物体で0.2222を達成し、物体クラスにおいてLiDARで教師付きの先行研究を上回った。
• 定性的な結果から、R4Dynは接近する車両の深度を正しく推定している一方で、Monodepth2はその距離を著しく低く推定しており、安全上重要な状況における本手法のロバスト性が顕著に示された。