[論文レビュー] Image-based localization using LSTMs for structured feature correlation

Florian Walch, Caner Hazırbaş+4 more|arXiv (Cornell University)|Nov 23, 2016

Robotics and Sensor-Based Localization参考文献 57被引用数 12

ひとこと要約

本論文は、画像ベースのカメラポーズ回帰のためのCNN+LSTMアーキテクチャを提案し、従来のディープラーニング手法よりも32–37%高い局所化精度を達成する。LSTMを用いて構造的に次元削減を施すことで、意味のある特徴相関を捉え、SIFTベースの手法が失敗するテクスチャが乏しく繰り返し構造のある屋内環境でも頑健な性能を発揮する。

ABSTRACT

In this work we propose a new CNN+LSTM architecture for camera pose regression for indoor and outdoor scenes. CNNs allow us to learn suitable feature representations for localization that are robust against motion blur and illumination changes. We make use of LSTM units on the CNN output, which play the role of a structured dimensionality reduction on the feature vector, leading to drastic improvements in localization performance. We provide extensive quantitative comparison of CNN-based and SIFT-based localization methods, showing the weaknesses and strengths of each. Furthermore, we present a new large-scale indoor dataset with accurate ground truth from a laser scanner. Experimental results on both indoor and outdoor public datasets show our method outperforms existing deep architectures, and can localize images in hard conditions, e.g., in the presence of mostly textureless surfaces, where classic SIFT-based methods fail.

研究の動機と目的

• 高次元の全結合層に起因する過学習の問題を抱えるCNNベースのポーズ回帰の限界を解消すること。
• 従来のSIFTベースの手法と比較して、動きぼけや照明変化に対する耐性を高めること。
• 繰り返し構造が多くテクスチャが乏しい挑戦的な屋内環境でも、ディープラーニングベースの局所化が成功することを示すこと。
• 最先端のSIFTベースとCNNベースの局所化手法の間で、包括的な定量的比較を実施すること。
• 正確なレーザースキャナーベースの真値を備えた大規模な屋内データセット（TUM-LSI）を提供し、困難な局所化シナリオを評価すること。

提案手法

• 入力画像から頑健で高レベルの特徴表現を抽出するために畳み込みニューラルネットワーク（CNN）を用い、動きぼけや照明変化に対する耐性を向上させる。
• CNNの全結合層出力にLSTMユニットを適用し、構造的な次元削減と時系列的または特徴ごとの相関をモデル化する。
• LSTMが特徴ベクトル内の長距離依存関係を学習できることを活かし、ネットワークの一般化能力を高め、過学習を回避する。
• 画像からポーズへのペアを用いた教師あり学習により、エンドツーエンドのCNN+LSTMアーキテクチャを直接6自由度カメラポーズ回帰に訓練する。
• 段階的な訓練戦略を採用：事前学習としてImageNetでCNNを学習し、その後ポーズの監視情報を用いて全体ネットワークをファインチューニングする。
• データオーグメンテーションとドロップアウトを適用し、さらに正則化を施し、一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 LSTMベースのアーキテクチャは、既存のエンドツーエンド回帰モデルを上回るCNNベースの画像ベース局所化の性能を向上させることができるか？
• RQ2 SIFTベースの最先端局所化手法と比較して、CNN+LSTMアプローチは精度と耐性の観点から定量的にどの程度優れているか？
• RQ3 SIFTベースの手法が完全に失敗する繰り返し構造が多くテクスチャが乏しい大規模な屋内環境でも、ディープラーニングベースの局所化が成功するか？
• RQ4 LSTMによる構造的特徴相関は、ポーズ回帰における過学習の低減と一般化性能の向上にどの程度寄与するか？
• RQ5 従来のSfMおよび特徴マッチングパイプラインが失敗する状況において、CNNベースの手法がどの程度信頼できる局所化を達成できるか？

主な発見

• 提案されたCNN+LSTMモデルは、標準ベンチマークデータセット上で、PoseNetのような従来のCNNベース手法と比較して、局所化精度を32–37%向上させる。
• 新規のTUM-LSIデータセットでは、中央値の局所化誤差が1.31 m、オイラー角誤差が2.79°にまで低下し、PoseNetの1.87 mおよび6.14°を顕著に上回る。
• SIFTベースの手法、特にActive Searchは、テクスチャがなく繰り返し構造のあるTUM-LSIデータセットでは完全に失敗し、誤ったSfM再構築が行われる。
• 5,575 m²をカバーする1,095枚の高解像度画像を含むTUM-LSIデータセットは、COLMAP や VisualSFM などのSfMパイプラインが、テクスチャが乏しく繰り返し構造のある環境では正確な3Dモデルを再構築できないことを示している。
• LSTM層により構造的な特徴相関が可能となり、過学習が低減され、特に困難な視覚的条件下での一般化性能が向上する。
• 本研究は、SIFTベースの手法が完全に失敗する現実世界の屋内環境（テクスチャが乏しく繰り返し構造がある）においても、CNNベースの局所化が成功することを初めて実証した。