[論文レビュー] Toward Geometric Deep SLAM

Daniel DeTone, Tomasz Malisiewicz+1 more|ArXiv.org|Jul 24, 2017

Robotics and Sensor-Based Localization参考文献 18被引用数 45

ひとこと要約

本論文は、2つの軽量畳み込みニューラルネットワーク（CNN）を用いた幾何的ディープラーニングアプローチを提示する。MagicPointはスパarsityで安定した2次元特徴点を検出する。MagicWarpは、画像ペア間のホモロジーを、点の位置情報のみを用いて推定する。本システムはリアルタイム性能（CPUで30フレーム以上/秒）を達成し、ノイズ下でも古典的手法を上回るロバストネスと効率性を示す。実世界の真値データや複雑なレンダリングパイプラインを必要としない。

ABSTRACT

We present a point tracking system powered by two deep convolutional neural networks. The first network, MagicPoint, operates on single images and extracts salient 2D points. The extracted points are "SLAM-ready" because they are by design isolated and well-distributed throughout the image. We compare this network against classical point detectors and discover a significant performance gap in the presence of image noise. As transformation estimation is more simple when the detected points are geometrically stable, we designed a second network, MagicWarp, which operates on pairs of point images (outputs of MagicPoint), and estimates the homography that relates the inputs. This transformation engine differs from traditional approaches because it does not use local point descriptors, only point locations. Both networks are trained with simple synthetic data, alleviating the requirement of expensive external camera ground truthing and advanced graphics rendering pipelines. The system is fast and lean, easily running 30+ FPS on a single CPU.

研究の動機と目的

• 大規模かつアノテート済みのSLAMデータセットの不足を解決するため、データ効率的で合成データ駆動のトレーニングパラダイムを提案する。
• AR/VRデバイスなどの埋め込みプラットフォームに適した、軽量でリアルタイムなSLAMシステムを開発する。
• 写真のようにリアルなレンダリングにおけるドメインギャップ問題を、フルフレーム予測ではなく幾何的整合性に焦点を当てることで克服する。
• 高価な真値ポーズデータや複雑なグラフィックスパイプラインに依存しないシステムを設計する。
• 幾何的整合性、すなわちピクセルレベルの再構成ではなく、それがロバストなSLAM性能に十分であることを実証する。

提案手法

• 合成データを用いて、単一画像内の顕著な2次元コーナーを検出するCNN「MagicPoint」をトレーニングし、SLAMに適した点分布を生成する。
• 2つのストリームを備えたCNN「MagicWarp」を設計し、点画像ペアを入力とし、点座標のみを用いてそれらの間のホモロジーを予測する。
• 既知の幾何的変換を伴う合成データを用いて、両ネットワークをエンドツーエンドでトレーニングし、実世界のポーズアノテーションの必要性を排除する。
• 局所的記述子やキーポointマッチングに依存しないように、幾何的整合性損失を用いてホモロジー予測を監視する。
• バッチ正規化とモデル distillation を適用し、推論を圧縮・高速化することで、リアルタイムのCPU推論を実現する。
• MagicPointの閾値付き確率ヒートマップをMagicWarpの入力とし、アプリケーション固有の点選択を可能にする。

実験結果

リサーチクエスチョン

• RQ1 実世界のポーズアノテーションが一切ない合成データのみで、SLAM用のディープラーニングシステムを効果的にトレーニングできるか？
• RQ2 点の位置情報のみに基づく点トラッキングシステムが、画像ノイズや幾何的歪み下でも古典的手法を上回れるか？
• RQ3 幾何的整合性がロバストなSLAMに十分であるか、それとも正確なポーズ推定にはフルフレーム予測が必要か？
• RQ4 軽量でエンドツーエンドのディープラーニングシステムが、精度を犠牲にせずCPU上でリアルタイム性能を達成できるか？
• RQ5 ノイズと変換の大きさが変化する条件下で、学習されたホモロジー推定器（MagicWarp）の性能は、従来の最近傍探索マッチングと比べてどうか？

主な発見

• MagicPointは、特に高ノイズレベル下で、FAST、Harris、Shiといった古典的手法を著しく上回り、再現性と安定性に優れる。
• MagicWarpは、あらゆる変換タイプとノイズレベルで、最近傍探索マッチングを上回るマッチ再現性を達成し、低密度状況下で40％のノイズ下で90％の再現性を達成する閾値が24.06pxである。
• 高密度設定下では、ノイズ0％で平均誤差28.84px、ノイズ40％で28.84pxを記録し、ノイズに対して強いロバストネスを示す。
• 40％のノイズと低点密度下で、変換の大きさが24.06pxのとき、MagicWarpは90％のマッチ再現性を達成し、ベースライン手法を上回る。
• 320×240の画像を1つのCPUコアで6.1msで処理し、30フレーム以上/秒を達成し、リアルタイムな埋め込みデプロイメントに適している。
• 既知の幾何的変換を伴う合成データの使用により、実世界の真値を必要とせず効果的なトレーニングが可能となり、データ収集のコストと複雑さが低減される。