[論文レビュー] Parse Geometry from a Line: Monocular Depth Estimation with Partial Laser Observation

Yiyi Liao, Lichao Huang+4 more|arXiv (Cornell University)|Oct 17, 2016

Advanced Vision and Imaging参考文献 10被引用数 6

ひとこと要約

本論文は、スケールのあいまいさを解消し、深度推定の精度を向上させるために、スパarsな2次元レーザースキャナデータを活用する単眼深度推定手法を提案する。レーザースキャンから密度の高い参照深度マップを構築し、分類損失と回帰損失を組み合わせた分類・回帰損失を用いて訓練された残差の残差畳み込みニューラルネットワーク（Residual-of-Residual CNN）により、残差深度を推定することで、NYUD2およびKITTIで最先端の性能を達成し、障害物回避の信頼性が顕著に向上する。

ABSTRACT

Many standard robotic platforms are equipped with at least a fixed 2D laser range finder and a monocular camera. Although those platforms do not have sensors for 3D depth sensing capability, knowledge of depth is an essential part in many robotics activities. Therefore, recently, there is an increasing interest in depth estimation using monocular images. As this task is inherently ambiguous, the data-driven estimated depth might be unreliable in robotics applications. In this paper, we have attempted to improve the precision of monocular depth estimation by introducing 2D planar observation from the remaining laser range finder without extra cost. Specifically, we construct a dense reference map from the sparse laser range data, redefining the depth estimation task as estimating the distance between the real and the reference depth. To solve the problem, we construct a novel residual of residual neural network, and tightly combine the classification and regression losses for continuous depth estimation. Experimental results suggest that our method achieves considerable promotion compared to the state-of-the-art methods on both NYUD2 and KITTI, validating the effectiveness of our method on leveraging the additional sensory information. We further demonstrate the potential usage of our method in obstacle avoidance where our methodology provides comprehensive depth information compared to the solution using monocular camera or 2D laser range finder alone.

研究の動機と目的

• ロボットアプリケーションにおける主な課題である単眼深度推定におけるグローバルスケールのあいまいさを解消すること。
• 追加のハードウェアコストをかけずに、スパースな2次元レーザースキャナデータと単眼画像を統合することで、深度推定の信頼性を向上させること。
• 実際の深度と、レーザーデータから導出された密度の高い参照マップとの間の残差学習問題として、深度推定を再定式化すること。
• RGBと部分的な深度観測を融合できる新しい深層学習アーキテクチャを開発し、連続的かつ密度の高い深度予測を可能とすること。
• 単一センサーが視野が限られるために失敗する、特に障害物回避を含む実世界のロボットタスクにおける本手法の有効性を検証すること。

提案手法

• 補間法と幾何的制約を用いて、スパースな2次元レーザースキャナデータから密度の高い参照深度マップを構築する。
• 単眼深度推定を、実際の深度と参照深度マップとの間の残差深度を予測する問題に再定式化する。
• 階層的特徴抽出を可能とする、新しい残差の残差畳み込みニューラルネットワーク（RCNN）を設計し、残差深度をモデル化する。
• 分類損失（深度レベルの予測用）と回帰損失（連続的な深度値推定用）を統合した組み合わせ損失関数を用いてネットワークを訓練する。
• 単眼画像とレーザースキャンをマルチモーダル入力としてネットワークに統合し、部分観測からの深層推定をエンドツーエンドで学習可能とする。
• 予測された残差深度を参照マップに加算することで、完全な密度の高い深度マップを再構築する。

実験結果

リサーチクエスチョン

• RQ1 スパースな2次元レーザースキャナデータは、単眼深度推定におけるグローバルスケールのあいまいさを効果的に低減できるか？
• RQ2 深層ニューラルネットワークは、RGB画像と部分的な深度観測を併用して、密度の高い深度推定を実現できるように設計できるか？
• RQ3 分類損失と回帰損失を組み合わせることで、残差深度推定の精度とロバスト性が向上するか？
• RQ4 本手法は、単眼画像または2次元レーザースキャナのみを用いる場合と比較して、障害物回避性能をどの程度向上させるか？
• RQ5 本手法は、シーンの複雑さが異なる屋内および屋外環境に一般化可能か？

主な発見

• 提案手法は、NYUD2およびKITTIの両データセットで最先端の性能を達成し、既存の単眼深度推定手法を上回る。
• レーザースキャンの高さ（80cm）において、深度推定の精度が顕著に向上し、RMS、REL、log10誤差の指標で最小値を示す。
• 性能向上はレーザースキャンの高さを越えて継続しており、部分的なレーザーデータが全体のシーン深度推定を改善していることが示唆される。
• 80cm未満の領域では、平均二乗誤差が低下し、ロボットのナビゲーションや障害物回避に特に適している。
• 障害物回避の実験では、融合された深度予測が、単眼画像または2次元レーザースキャン単体よりも包括的かつ信頼性の高い障害物マップを提供することが示された。
• 20cmの追加レーザースキャンにより、上部障害物の検出がさらに向上し、複数高さのレーザー融合の可能性が示唆された。