[論文レビュー] Geometry-Aware Learning of Maps for Camera Localization

Samarth Brahmbhatt, Jinwei Gu+3 more|arXiv (Cornell University)|Dec 9, 2017

Robotics and Sensor-Based Localization参考文献 21被引用数 4

ひとこと要約

この論文では、視覚的、GPS、およびビジュアルオドメトリ（VO）の入力を統合することで、幾何学的制約に配慮したデータ駆動型マップ表現を学習する深層ニューラルネットワーク、MapNetを提案する。トレーニングおよび推論中に相対姿勢、並進、回転といった幾何学的制約を損失関数に組み込むことで、従来のDNNベースの手法に比べて顕著に向上した局所化精度を達成し、さらにラベルなしの動画シーケンスを用いた自己教師付き適応によってさらなる向上が得られる。

ABSTRACT

Maps are a key component in image-based camera localization and visual SLAM systems: they are used to establish geometric constraints between images, correct drift in relative pose estimation, and relocalize cameras after lost tracking. The exact definitions of maps, however, are often application-specific and hand-crafted for different scenarios (e.g. 3D landmarks, lines, planes, bags of visual words). We propose to represent maps as a deep neural net called MapNet, which enables learning a data-driven map representation. Unlike prior work on learning maps, MapNet exploits cheap and ubiquitous sensory inputs like visual odometry and GPS in addition to images and fuses them together for camera localization. Geometric constraints expressed by these inputs, which have traditionally been used in bundle adjustment or pose-graph optimization, are formulated as loss terms in MapNet training and also used during inference. In addition to directly improving localization accuracy, this allows us to update the MapNet (i.e., maps) in a self-supervised manner using additional unlabeled video sequences from the scene. We also propose a novel parameterization for camera rotation which is better suited for deep-learning based camera pose regression. Experimental results on both the indoor 7-Scenes dataset and the outdoor Oxford RobotCar dataset show significant performance improvement over prior work. The MapNet project webpage is https://goo.gl/mRB3Au.

研究の動機と目的

• ビジュアルSLAMおよび画像ベースの局所化における従来の手作業で作成されたマップ表現の不柔軟性とアプリケーション特化性を解消する。
• 多様な環境やセンサ入力に適応可能な汎用的マップ表現をエンドツーエンドで学習可能にする。
• 相対姿勢、並進、回転といった幾何学的制約（例：相対姿勢、並進、回転）を深層学習のトレーニングプロセスに直接組み込むことで、カメラの局所化精度を向上させる。
• 絶対姿勢の監督を必要とせず、ラベルなしの動画シーケンスを用いて連続的に自己教師付きでマップを更新可能にする。
• 回転の新しいパrameterizationとして単位クォータニオンの対数を用いることで、深層学習ベースの姿勢回帰性能を向上させる。

提案手法

• マップを深層ニューラルネットワーク（MapNet）として表現し、画像を入力として受け取り、カメラの姿勢を予測する。マップはネットワークの重みに暗黙的に符号化される。
• トレーニング中に、視覚オドメトリからの相対姿勢、GPSの並進、IMUの回転といった幾何学的制約を微分可能な損失項として定式化する。
• 回転の新しいパrameterizationとして、単位クォータニオンの対数を導入し、深層ネットワークにおける最適化の安定性と回帰精度を向上させる。
• ラベルなしの動画シーケンスからの幾何学的制約を活用することで、真の姿勢が不要な自己教師付き適応をMapNet+によって実現し、ネットワーク重みを微調整可能にする。
• 動きのあるウィンドウ内でMapNetの予測とビジュアルオドメトリをポーズグラフ最適化（PGO）を用いて融合し、局所的な滑らかさとグローバルな一貫性を両立させる。これにより、MapNet+PGOが得られる。
• アテンションマップを用いて、MapNetが幾何学的に意味のある画像領域に注目していることを可視化・検証し、時間的整合性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークを用いて、多様な環境に一般化可能なデータ駆動型マップ表現を学習可能か？
• RQ2 補助センサ（例：VO、GPS、IMU）から得られる相対姿勢、並進、回転といった幾何学的制約を損失関数に組み込むことで、カメラの局所化精度はどのように向上するか？
• RQ3 MapNetは、ラベルなしの動画シーケンスを用いて自己教師付きで連続的に更新可能か？これにより、耐障害性と適応性が向上するか？
• RQ4 提案された対数クォータニオンパラメータライゼーションは、標準的な表現に比べて深層学習ベースのカメラ姿勢回帰性能を向上させるか？
• RQ5 PGOを用いてMapNetの予測とビジュアルオドメトリを融合することで、長時間のシーケンスにおけるドリフトをさらに低減し、局所化精度を向上させられるか？

主な発見

• MapNetは、屋内7-Scenesおよび屋外Oxford RobotCarデータセットの両方で、PoseNetを含む従来のDNNベースの手法を顕著に上回り、並進誤差および回転誤差が低くなる。
• トレーニング損失に幾何学的制約（視覚オドメトリからの相対姿勢、GPSの並進、IMUの回転）を組み込むことで、局所化誤差が低減され、VO、GPS、IMUからの情報が有効に活用される。
• MapNet+は、ラベルなしの動画シーケンスを用いた自己教師付き適応を可能にし、真の姿勢が不要な状態でモデルが時間経過とともに改善される。
• 動きのあるウィンドウ内でMapNetの予測とビジュアルオドメトリをPGOで融合するMapNet+PGOは、最も高い性能を達成し、長時間のシーケンスにおけるドリフト低減と精度向上が実現される。
• 提案された対数クォータニオンパラメータライゼーションは、7-Scenesデータセットにおける定量的アブレーションスタディで、PoseNetおよびMapNetの両方の性能を向上させる。
• MapNet+PGOによる誤った予測（通常は過露出または動的な領域に起因）は、単純な時間的中央値フィルタリングにより効果的に除去可能であることが、図12で示された。