[論文レビュー] Noise-Aware Unsupervised Deep Lidar-Stereo Fusion

Xuelian Cheng, Yiran Zhong+3 more|arXiv (Cornell University)|Apr 8, 2019

Advanced Vision and Imaging参考文献 34被引用数 8

ひとこと要約

この論文では、真値深度マップを必要とせずにステレオとLiDARデータを融合する教師なしエンドツーエンドのディープラーニングフレームワーク、LidarStereoNetを提案する。ノイズの多いLiDAR点とずれを扱うためのフィードバックループと、幾何的正則化のための区分的傾斜平面フィッティング損失を導入することで、深度推定において最先端の性能を達成し、既存のステレオマッチング、深度コンプリート、融合手法を大きく上回る。LiDARデータが完全に欠落している場合でさえも同様の性能を発揮する。

ABSTRACT

In this paper, we present LidarStereoNet, the first unsupervised Lidar-stereo fusion network, which can be trained in an end-to-end manner without the need of ground truth depth maps. By introducing a novel "Feedback Loop'' to connect the network input with output, LidarStereoNet could tackle both noisy Lidar points and misalignment between sensors that have been ignored in existing Lidar-stereo fusion studies. Besides, we propose to incorporate a piecewise planar model into network learning to further constrain depths to conform to the underlying 3D geometry. Extensive quantitative and qualitative evaluations on both real and synthetic datasets demonstrate the superiority of our method, which outperforms state-of-the-art stereo matching, depth completion and Lidar-Stereo fusion approaches significantly.

研究の動機と目的

• 訓練に高価な真値深度マップに依存する既存のLiDAR-ステレオ融合手法の限界を解消すること。
• 現実世界のシナリオにおけるノイズの多いLiDAR測定値とステレオカメラおよびLiDAR間のセンサーキャリブレーション誤差やローリングシャッター効果に起因するずれに対処すること。
• 多様なデータセットやセンサーカンfigレーションに広く一般化できる、堅牢なエンドツーエンドの教師なし学習フレームワークを開発すること。
• 区分的傾斜平面フィッティング損失を用いて強力な3次元幾何的事前知識を組み込み、深度マップの品質を向上させること。
• LiDARデータが完全に欠落している場合でも、ネットワークが効果的に機能することを可能にすること。

提案手法

• ネットワーク入力（LiDAR点）と出力（視差マップ）を接続する新しい「フィードバックループ」を導入し、学習中に繰り返しの改善とノイズフィルタリングを可能にする。
• ステレオ画像間の光度的一致性と、ステレオとLiDAR間の深度的一致性を教師なし学習損失として採用し、真値深度の必要性を排除する。
• 段階的ノイズ除去戦略を適用し、学習の進行に従って徐々にノイズの多いLiDAR点をフィルタリングすることで、耐障害性を向上させる。
• 3次元構造的一致性を強制するため、区分的傾斜平面フィッティング損失を導入し、視差を下位の平面幾何構造に従わせる。
• ステレオとLiDAR入力を別々に処理した後、ネットワークの最終層で統合するラテントフェージョン戦略を採用し、特徴の整合性を向上させる。
• 可変的なLiDARのスパarsityに対応でき、極端な状況（LiDARが完全に欠落）でも、ステレオの監視により性能を維持できる。

実験結果

リサーチクエスチョン

• RQ1 真値深度アノテーションに依存せずに、教師なしディープラーニングフレームワークが効果的にステレオとLiDARデータを融合できるか？
• RQ2 ノイズの多いLiDAR点やキャリブレーション誤差やローリングシャッター効果に起因するセンサーズレに対処できるネットワークはどのように構築できるか？
• RQ3 区分的平面構造のような幾何的事前知識は、LiDAR-ステレオ融合における深度推定をどの程度向上させられるか？
• RQ4 提案手法は、ノイズやスパarsityのレベルが異なる実世界および合成データセットにも一般化可能か？
• RQ5 フィードバックループ機構は、LiDAR入力を用いて視差予測を繰り返し改善することで、性能を顕著に向上させるか？

主な発見

• KITTI 2015データセットでは、LidarStereoNetが絶対相対誤差（Abs Rel）を0.0468まで低下させ、次の最高性能手法を主要指標で2倍以上上回った。
• ワーピングとスムーズネス損失を用いた場合、平面フィッティング損失の追加により誤差率が3.02%から2.73%に低下し、ノイズの多い入力への有効性が示された。
• Synthiaデータセットでは、ノイズが多くスパースな視差入力下でも強力な性能（Abs Rel: 0.0334）を維持した一方で、S2Dは顕著な性能低下を示した。
• ラテントフェージョン戦略は、ノーフュージョン（Abs Rel: 0.0555）およびイ早融合（Abs Rel: 0.0644）のベースラインを上回り、Abs Rel 0.0468を達成した。
• 本手法は、低照度、霧、雨天などの未観測なシナリオに対しても一般化が良く、多様な天候や照明条件下で一貫した性能を示した。
• LiDARデータが完全に欠落している場合でも、ステレオのみの監視により、競争力のある結果を達成した。これは、本手法の耐障害性と適応性を示している。