[論文レビュー] DeepVO: A Deep Learning approach for Monocular Visual Odometry

Vikram Mohanty, Shubh Agrawal+4 more|arXiv (Cornell University)|Nov 18, 2016

Robotics and Sensor-Based Localization参考文献 31被引用数 45

ひとこと要約

この論文は、特徴検出およびトラッキングを経由せずに、畳み込みニューラルネットワーク（CNN）を用いて画像ペアからカメラの運動を直接回帰する、モノクローラ視覚オドメトリ用のディープラーニングフレームワークであるDeepVOを提案する。環境事前知識がある条件下で、カメラ内部パrameterと深度の手がかりをエンドツーエンドで学習することで、リアルタイムかつスケール認識可能な軌道推定を実現し、幾何的手法を上回る精度を達成する。

ABSTRACT

Deep Learning based techniques have been adopted with precision to solve a lot of standard computer vision problems, some of which are image classification, object detection and segmentation. Despite the widespread success of these approaches, they have not yet been exploited largely for solving the standard perception related problems encountered in autonomous navigation such as Visual Odometry (VO), Structure from Motion (SfM) and Simultaneous Localization and Mapping (SLAM). This paper analyzes the problem of Monocular Visual Odometry using a Deep Learning-based framework, instead of the regular 'feature detection and tracking' pipeline approaches. Several experiments were performed to understand the influence of a known/unknown environment, a conventional trackable feature and pre-trained activations tuned for object classification on the network's ability to accurately estimate the motion trajectory of the camera (or the vehicle). Based on these observations, we propose a Convolutional Neural Network architecture, best suited for estimating the object's pose under known environment conditions, and displays promising results when it comes to inferring the actual scale using just a single camera in real-time.

研究の動機と目的

• 従来の特徴ベースの視覚オドメトリがモノクローラ設定において直面する課題、特にスケールの曖昧さと誤差の蓄積を解消すること。
• ディープラーニングが特徴抽出やトラッキングを明示的に行わずに、画像系列からカメラポーズを直接推定できるかを検討すること。
• 環境知識、事前学習済み特徴、および事前幾何的手がかり（例：FAST）がネットワーク性能に与える影響を調査すること。
• 単一のカメラのみを用いてリアルタイムかつスケール認識可能な視覚オドメトリを実現し、古典的幾何的手法の主な制限を克服すること。

提案手法

• 2つの連続する画像を入力として受け取り、それらの間の相対的変換行列を出力する、独自のCNNアーキテクチャを、連続する画像ペア間の6自由度（6-DoF）カメラ運動（並進と回転）を回帰するように訓練する。
• ネットワークは2つの連続するRGB画像を入力とし、それらの間の相対的変換行列を出力する。
• 教師あり回帰により、ラベル付きの軌道データ上で訓練を行い、標準的なバックプロパゲーションで損失を最小化する。
• 3つの設定でモデルを評価する：既知の環境（事前知識あり）、未知の環境（事前知識なし）、未知の環境に事前知識付きのFAST特徴を追加。
• ImageNetで事前学習された特徴（例：AlexNetから得られるもの）を初期化としてテストしたが、視覚オドメトリには効果がなかった。
• 環境固有のデータで微調整することで、一般化性能を向上させ、時間経過に伴う誤差の蓄積を低減する。

実験結果

リサーチクエスチョン

• RQ1 特徴検出およびトラッキングパイプラインに依存せずに、ディープCNNが直接モノクローラ視覚オドメトリを推定できるか？
• RQ2 環境に関する事前知識が、ディープラーニングベースの視覚オドメトリシステムの性能に与える影響は何か？
• RQ3 物体分類タスクで事前学習された特徴は、視覚オドメトリに効果的に転移可能か？
• RQ4 従来のトラッカブルな特徴（例：FAST）を事前知識として追加することで、未知の環境における性能が向上するか？
• RQ5 明示的な深度の監視がなければ、モノクローラ系列からスケール情報を学習できるか？

主な発見

• 既知の環境では、トレーニング損失とテスト損失が反復回数に応じて安定して収束し、軌道のずれと損失が顕著に低減される。
• 既知の環境では、モデルがリアルタイムで真のスケールを推定できることが示され、古典的幾何的手法では達成できない能力である。
• 未知の環境では性能が著しく低下し、環境固有の事前知識に強く依存していることが示された。
• 未知の環境にFAST特徴を事前知識として追加しても性能が向上せず、ネットワークが同様の特徴を自律的に学習していることが示唆された。
• 事前学習済みのImageNet特徴は視覚オドメトリにうまく一般化されず、ドメイン特化した特徴学習が不可欠であることが示された。
• 長時間のシーケンスにおいて誤差が蓄積される傾向があるため、累積誤差を補正するための再帰的メカニズムの導入が求められる。