[論文レビュー] Lightweight Unsupervised Deep Loop Closure

Nate Merrill, Guoquan Huang|arXiv (Cornell University)|May 20, 2018

Robotics and Sensor-Based Localization参考文献 41被引用数 27

ひとこと要約

本論文は、ラベルなしデータを用いて、ランダム化された射影変換とHOGベースの監視を用いて、外観に頑健な特徴を生の画像から学習する、軽量で教師なしの深層自己符号化器を提案する。このモデルは、正確性と速度の面で最先端の性能を達成し、リソース制約のあるシステムでもリアルタイムでのループクロージャーを可能にする。

ABSTRACT

Robust efficient loop closure detection is essential for large-scale real-time SLAM. In this paper, we propose a novel unsupervised deep neural network architecture of a feature embedding for visual loop closure that is both reliable and compact. Our model is built upon the autoencoder architecture, tailored specifically to the problem at hand. To train our network, we inflict random noise on our input data as the denoising autoencoder does, but, instead of applying random dropout, we warp images with randomized projective transformations to emulate natural viewpoint changes due to robot motion. Moreover, we utilize the geometric information and illumination invariance provided by histogram of oriented gradients (HOG), forcing the encoder to reconstruct a HOG descriptor instead of the original image. As a result, our trained model extracts features robust to extreme variations in appearance directly from raw images, without the need for labeled training data or environment-specific training. We perform extensive experiments on various challenging datasets, showing that the proposed deep loop-closure model consistently outperforms the state-of-the-art methods in terms of effectiveness and efficiency. Our model is fast and reliable enough to close loops in real time with no dimensionality reduction, and capable of replacing generic off-the-shelf networks in state-of-the-art ConvNet-based loop closure systems.

研究の動機と目的

• 極端な外観変化にさらされる大規模な可視SLAMシステムにおける、頑健でリアルタイムなループクロージャー検出の課題に対処すること。
• 大規模なラベル付きデータセットを必要とし、推論が遅い、または次元削減に依存する既存のConvNetベースの手法の限界を克服すること。
• 微調整なしで多様な環境に一般化できる、コンactで効率的かつ教師なしの特徴埋め込みネットワークを開発すること。
• より重く遅いネットワークの即時置き換えとして、既存のConvNetベースの場所認識パイプラインへのシームレスな統合を可能にすること。
• 環境固有の適応なしに、公開済みのラベルなしデータを用いて事前学習した即戦力のソリューションを提供することにより、リアルタイムSLAMに直接適用可能にする。

提案手法

• 幾何的不変性とエッジ情報を利用し、生の画像の代わりにHOG記述子を再構築する畳み込み自己符号化器アーキテクチャを設計する。
• 入力画像をランダムな射影変換で拡張することで、視点変化を模擬する、ノイズ除去自己符号化器の枠組みでネットワークを学習する。
• 幾何的整合性を強制し、照明や視点変化への感受性を低減するために、HOG記述子を監視ターゲットとして用いる。
• ラベルなしのループクロージャーペairが一切不要な、大規模な公開データセット上で教師なしでネットワークを学習する。
• リアルタイムSLAMにおける類似度検索を効率的に行うために、エンコーダーの最終層から直接、コンパクトで固定長の特徴埋め込みを抽出する。
• より重い特徴抽出器（例：AlexNet）を置き換えることで、次元削減なしに既存の場所認識パイプラインにモデルを統合する。

実験結果

リサーチクエスチョン

• RQ1 射影的データ拡張とHOG監視で学習された教師なしの深層自己符号化器は、極端な外観変化下でも頑健なループクロージャーを達成できるか？
• RQ2 ベンチマークデータセット上で、提案手法はSOTA手法と比較して、正確性、再現率、推論速度の面でどの程度優れているか？
• RQ3 性能の低下を伴わずに、リアルタイムSLAMシステムに、より大きな事前学習済み分類ネットワークを置き換えることができるか？
• RQ4 微調整やラベルなしデータなしで、異なる環境（例：照明や天候の変化、動的物体の存在）に一般化できるか？
• RQ5 ランドマークベースやホリスティック記述子アプローチを用いるリアルタイムSLAMパイプラインに対しても、直接統合可能か？

主な発見

• 提案手法は、Gardens Pointデータセットを含む複数のベンチマークデータセットで、精度と再現率の両面でSOTAの性能を達成した。特に、視点や照明の変化が極端なGardens Pointデータセットでも顕著な優位性を示した。
• DBoW2、FAB-MAP、およびConvNetベースのシステムを含むSOTA手法と比較して、効果性と推論速度の両面で一貫して優れており、次元削減の必要が一切ない。
• 自然にコンパクトな1,064次元の記述子であるため、事前処理や特徴圧縮なしにリアルタイムでのループクロージャーを実現した。
• 統合実験では、ランドマークベースシステムにおけるAlexNetベースの記述子を本手法に置き換えることで、性能向上が達成され、高価な射影行列の必要性が排除された。
• 関連しない真値データから導出したしきい値を用いて、リアルタイムSLAMでループを正しく閉じることができた。これにより、頑健性と実用的展開可能性が実証された。
• 教師なし学習スキームにより、最小限のラベル付きデータやドメインシフトでも容易に微調整可能で、良好な一般化性能を示した。