[論文レビュー] Learning monocular visual odometry with dense 3D mapping from dense 3D flow

Cheng Zhao, Li Sun+3 more|arXiv (Cornell University)|Mar 6, 2018

Robotics and Sensor-Based Localization参考文献 2被引用数 8

ひとこと要約

本稿では、2次元光流と予測深度を統合して高密度な3次元流を生成する3次元フロー連携層を活用し、1台のカメラによる視覚オドメトリ（L-VO）と高密度3次元マッピングを統合したエンドツーエンドのディーブラーニングフレームワークを提案する。6自由度（6-DOF）のポーズ推定が向上し、KITTIベンチマーク上では平均並進誤差2.68%、平均回転誤差0.0143°/mを達成し、幾何的制約に依存しないモノラルベースラインを上回り、ステレオSLAM性能に近づいた。これは、運動相関をモデル化する二変量ガウス損失関数のおかげである。

ABSTRACT

This paper introduces a fully deep learning approach to monocular SLAM, which can perform simultaneous localization using a neural network for learning visual odometry (L-VO) and dense 3D mapping. Dense 2D flow and a depth image are generated from monocular images by sub-networks, which are then used by a 3D flow associated layer in the L-VO network to generate dense 3D flow. Given this 3D flow, the dual-stream L-VO network can then predict the 6DOF relative pose and furthermore reconstruct the vehicle trajectory. In order to learn the correlation between motion directions, the Bivariate Gaussian modelling is employed in the loss function. The L-VO network achieves an overall performance of 2.68% for average translational error and 0.0143 deg/m for average rotational error on the KITTI odometry benchmark. Moreover, the learned depth is fully leveraged to generate a dense 3D map. As a result, an entire visual SLAM system, that is, learning monocular odometry combined with dense 3D mapping, is achieved.

研究の動機と目的

• エンドツーエンドのディーブラーニングシステムを構築し、モノラルSLAMにおいて視覚オドメトリと高密度3次元マッピングを統合的に実行すること。
• 幾何的制約ではなく、学習された深度と運動の事前分布を用いて、モノラルSLAMにおける絶対的スケールドリフト問題を克服すること。
• 2次元光流と予測深度を統合して高密度3次元フローを生成することで、6自由度（6-DOF）ポーズ推定の精度を向上させること。
• 手作業で設計された幾何的制約やドメイン特化のチューニングに依存しないようにし、微分可能損失関数による運動相関の学習によって実現すること。
• リアルタイムで高品質で高密度な3次元マップを、深度統合とOctoMap表現を用いて生成すること。

提案手法

• 2次元光流と予測深度から導出される高密度3次元フローを入力として使用する、2本のストリームを持つL-VOネットワークを訓練し、6-DOFカメラの運動を予測する。
• 3次元フロー連携層が2次元光流と深度画像を統合し、3次元空間における幾何的推論を可能にする高密度3次元フローを生成する。
• 並進成分（x, z）間の相関をモデル化するため、二変量ガウス損失関数を導入し、運動の一貫性を向上させる。
• KITTIデータセットの真値ポーズを用いた教師あり学習でネットワークを訓練し、サブネットからの深度監視も併用する。
• 複数フレームにわたる深度統合とOctoMapに基づくボリュメトリック表現を用いて、高密度3次元マッピングを実現する。
• ROSに実装され、NVIDIA Titan GPUでトレーニングが行われ、リアルタイム推論をサポートする。

実験結果

リサーチクエスチョン

• RQ1 幾何的事前知識（例：カメラ高さ）に依存しないエンドツーエンドのディーブラーニングシステムが、幾何的制約なしに競争力のあるモノラル視覚オドメトリ性能を達成できるか。
• RQ2 2次元光流と予測深度を3次元フローに統合することで、2次元フロー単体に比べて6自由度（6-DOF）ポーズ推定がどのように向上するか。
• RQ3 学習された二変量ガウス損失関数が、運動の一貫性とトラジェクトリ精度をどの程度向上できるか。
• RQ4 学習されたモノラルSLAMシステムが、ステレオSLAMシステムと同等の高密度・高精度な3次元マップを生成できるか。
• RQ5 特に動的物体が支配的となる状況や高速移動時において、本手法はどの程度の耐性を示すか。

主な発見

• 提案されたL-VO(3D)モデルは、KITTIオドメトリベンチマーク上で平均並進誤差2.68%、平均回転誤差0.0143°/mを達成し、大多数のモノラルSLAM手法を上回った。
• 3次元フローに深度フローを組み込むことで、2次元フローの大きさが小さい低速走行時においても性能が向上した。
• 二変量ガウス損失関数により運動の一貫性が向上し、特に直線走行やコーナー走行においてドリフトが低減された。
• L-VO(3D)モデルはL-VO(2D)よりもステレオSLAMに近い性能を示し、3次元幾何的推論の有効性を実証した。
• 深度統合とOctoMapを用いたシステムは、滑らかでノイズの少ない高密度3次元マップを生成し、明確な物体境界を再現した。
• 高い計算コストとデータセットバイアスがあるにもかかわらず、モデルは未学習シーケンス（例：KITTI 11–21）に対しても一般化でき、質的に妥当なトラジェクトリを生成した。