[論文レビュー] MagicVO: End-to-End Monocular Visual Odometry through Deep Bi-directional Recurrent Convolutional Neural Network

Jian Jiao, Jichao Jiao+3 more|arXiv (Cornell University)|Nov 27, 2018

Robotics and Sensor-Based Localization参考文献 17被引用数 9

ひとこと要約

MagicVOは、連続する画像系列から6自由度の絶対スケールカメラポーズを推定するために、深層双方向再帰的畳み込みニューラルネットワークを用いたエンドツーエンドの単眼ビジュアルオドメトリーシステムを提案する。空間的特徴抽出のための畳み込みニューラルネットワーク（CNN）と、前向きおよび後向きの両方向で長距離の時間的依存性をモデル化する双方向LSTM（Bi-LSTM）を組み合わせることで、従来のVO手法と比較してKITTIおよびETH-ASLデータセットにおいて優れた精度と一般化性能を達成する。

ABSTRACT

This paper proposes a new framework to solve the problem of monocular visual odometry, called MagicVO . Based on Convolutional Neural Network (CNN) and Bi-directional LSTM (Bi-LSTM), MagicVO outputs a 6-DoF absolute-scale pose at each position of the camera with a sequence of continuous monocular images as input. It not only utilizes the outstanding performance of CNN in image feature processing to extract the rich features of image frames fully but also learns the geometric relationship from image sequences pre and post through Bi-LSTM to get a more accurate prediction. A pipeline of the MagicVO is shown in Fig. 1. The MagicVO system is end-to-end, and the results of experiments on the KITTI dataset and the ETH-asl cla dataset show that MagicVO has a better performance than traditional visual odometry (VO) systems in the accuracy of pose and the generalization ability.

研究の動機と目的

• 実世界のシナリオにおける正確な6自由度の絶対スケール単眼ビジュアルオドメトリの課題に対処すること。
• 画像系列における空間的および時間的依存性を活用することで、ポーズ推定の精度を向上させること。
• 従来のVOパイプラインで一般的に見られる手作業によるコンポーネントを排除するエンドツーエンドの学習フレームワークを構築すること。
• 時間的文脈の双方向モデリングを通じて、多様なシーケンスにわたる一般化能力を向上させること。

提案手法

• 個々の単眼画像から豊富な空間的特徴を抽出するために深層畳み込みニューラルネットワーク（CNN）が使用される。
• 双方向長短期記憶（Bi-LSTM）ネットワークは、画像系列を前向きおよび後向きの両方向で処理することで時間的依存性をモデル化する。
• CNNとBi-LSTMの統合により、フレーム間の幾何的関係を学習できるようになり、ポーズ推定のロバスト性が向上する。
• システム全体がエンドツーエンドで訓練され、入力画像系列から直接絶対スケールの6自由度カメラポーズを予測する。
• 空間的文脈と時間的整合性を保持するようにアーキテクチャが設計されており、長期的な運動推定が向上する。

実験結果

リサーチクエスチョン

• RQ1 畳み込みニューラルネットワーク（CNN）特徴抽出と組み合わせた深層双方向RNNは、従来の手法と比較して単眼ビジュアルオドメトリの精度を向上させることができるか？
• RQ2 画像系列の双方向モデリングは、単眼システムにおけるポーズ推定にどの程度向上効果をもたらすか？
• RQ3 エンドツーエンドの学習フレームワークは、多様なシーケンスにわたる一般化性能において、従来のパイプラインを上回るか？
• RQ4 明示的な深度監視が行われない状況でも、モデルは絶対スケールの6自由度ポーズをどの程度正確に推定できるか？

主な発見

• MagicVOはKITTIデータセットで最先端の性能を達成し、並進および回転の両方の精度で従来のVOシステムを上回っている。
• モデルはETH-ASLデータセットでも強力な一般化能力を示しており、異なる環境や運動パターンに対してもロバストであることが示された。
• 双方向LSTMの使用により時間的モデリングが顕著に向上し、より一貫性があり正確なポーズ予測が可能になった。
• エンドツーエンドの訓練戦略により、ネットワークが最適な特徴表現とポーズ回帰を同時に学習でき、誤差の蓄積が低減された。