[論文レビュー] GCNv2: Efficient Correspondence Prediction for Real-Time SLAM

Jiexiong Tang, Ludvig Ericson+2 more|arXiv (Cornell University)|Feb 28, 2019

Robotics and Sensor-Based Localization参考文献 44被引用数 23

ひとこと要約

GCNv2 は、ORB-SLAM2 における ORB 特徴量の置き換えを可能にする軽量でバイナリ記述子に基づく深層学習ネットワークであり、Jetson TX2 などの組み込みプラットフォームでもリアルタイムのビジュアルオドメトリを実現する。最高水準のトラッキング性能を達成し、キーポイントの再現性と耐性が向上しているが、GCN の正確性を維持しながら推論時間を著しく短縮している。これはドローン制御のリアルタイム実装に適している。

ABSTRACT

In this paper, we present a deep learning-based network, GCNv2, for generation of keypoints and descriptors. GCNv2 is built on our previous method, GCN, a network trained for 3D projective geometry. GCNv2 is designed with a binary descriptor vector as the ORB feature so that it can easily replace ORB in systems such as ORB-SLAM2. GCNv2 significantly improves the computational efficiency over GCN that was only able to run on desktop hardware. We show how a modified version of ORB-SLAM2 using GCNv2 features runs on a Jetson TX2, an embedded low-power platform. Experimental results show that GCNv2 retains comparable accuracy as GCN and that it is robust enough to use for control of a flying drone.

研究の動機と目的

• 組み込みプラットフォームでのリアルタイム SLAM に適した、計算効率の高い深層学習ベースのキーポイントおよび記述子ネットワークの開発。
• 低消費電力ハードウェアへのデプロイを念頭に、元の GCN ネットワークの高い正確性を維持しながら推論時間を短縮すること。
• バイナリベクトルを用いることで ORB-SLAM2 と互換性のある記述子フォーマットを設計し、既存の SLAM パイプラインへのシームレスな統合を可能にすること。
• 特にテクスチャが乏しい、または動的な屋内環境において、実世界のドローンナビゲーションにおける耐性とリアルタイム性能を実証すること。
• リソース制限のあるリアルタイムロボティクスアプリケーションにおける、深層学習ベースの特徴抽出のデプロイを可能にすること。

提案手法

• GCNv2 は、ORB と同一フォーマットの 256 ビットバイナリ記述子をエンドツーエンドで予測するように学習させ、ORB-SLAM2 との直接的な互換性を実現している。
• ネットワークは1フレームずつ RGB-D フレームを処理し、元の GCN が抱える複数フレームマッチングのオーバーヘッドを排除することで推論速度を向上させている。
• バイナリ化は学習プロセスに統合されており、ハミング距離計算による記述子マッチングを高速化している。
• 3次元射影幾何学に基づく幾何的対応関係の教師信号を用いて学習させることで、視点変化に対して記述子が耐性を持つように保証している。
• ORB-SLAM2 の修正版が ORB を GCNv2 特徴量に置き換えており、Jetson TX2 でもリアルタイム動作が可能になっている。
• システムは RGB-D データを直接用いてスケールを推定しており、視覚慣性融合や深度予測ネットワークの必要性を排除している。

実験結果

リサーチクエスチョン

• RQ1 Jetson TX2 などの組み込みプラットフォームでリアルタイム動作が可能なほど、深層学習ベースのキーポイントおよび記述子ネットワークを効率化できるか？
• RQ2 3次元射影幾何学に基づいて学習されたバイナリ記述子ネットワークは、実世界の SLAM シナリオにおいて ORB よりもキーポイントの再現性とトラッキング耐性に優れているか？
• RQ3 GCNv2 はアーキテクチャの変更なしに、ORB-SLAM2 などの既存の SLAM フレームワークにシームレスに統合できるか？
• RQ4 テクスチャが乏しい屋内通路や、大きな視点変化を伴う屋外シーンのような困難な環境下で、GCNv2 はどのように性能を発揮するか？
• RQ5 元の GCN と比較して、GCNv2 は著しく推論時間を短縮しながらも高い正確性を維持できるか？

主な発見

• GCNv2 は、低消費電力の組み込みプラットフォームである Jetson TX2 でもリアルタイムのビジュアルオドメトリを実現したが、元の GCN はデスクトップ GPU が必要であった。
• Corridor および Kitchen データセットにおいて、GCNv2 はキーポイント総数が少ないにもかかわらず、インライアーの割合が 90％ まで上昇し、ORB を上回った。
• 屋内通路および屋外駐車場のシナリオで 180 度の旋回を実行した際、ORB-SLAM2 はトラッキングに失敗したが、GCNv2 はすべてのテストケースで安定したトラッキングを維持した。
• GCN-SLAM（GCNv2 特徴量を用いる）を搭載したドローンは、軌道比較の結果、ORB-SLAM2 よりもノイズが少なく、より安定した位置保持性能を示した。
• Open3D の TSDF 統合を用いた GCN-SLAM データからのメッシュ再構築は、ループクロージャーなしにトラッキングそのものの信頼性を確認する意味で、定性的に正確な地図を生成した。
• 中間出力の比較により、GCNv2 特徴量は ORB 特徴量よりも均等に分布しており、再現性に優れていることが視覚的に確認された。