[論文レビュー] PoseNet: A Convolutional Network for Real-Time 6-DOF Camera Relocalization

Alex Kendall, Matthew Koichi Grimes+1 more|arXiv (Cornell University)|Feb 17, 2015

Robotics and Sensor-Based Localization参考文献 27被引用数 186

ひとこと要約

PoseNetは、1枚のRGB画像からリアルタイムに6自由度カメラポーズを直接回帰する深層畳み込みニューラルネットワークを導入し、屋外の大規模なシーンでは約2mおよび6°の精度を達成し、屋内では約0.5mおよび10°の精度を達成する。ImageNetからの転移学習と構造からモーション（SfM）を用いた自動ポーズラベル付けにより、人為的アノテーションを最小限に抑え、モーションブラーおよび照明条件の変化といった困難な状況下でも高い性能を発揮する。

ABSTRACT

We present a robust and real-time monocular six degree of freedom relocalization system. Our system trains a convolutional neural network to regress the 6-DOF camera pose from a single RGB image in an end-to-end manner with no need of additional engineering or graph optimisation. The algorithm can operate indoors and outdoors in real time, taking 5ms per frame to compute. It obtains approximately 2m and 6 degree accuracy for large scale outdoor scenes and 0.5m and 10 degree accuracy indoors. This is achieved using an efficient 23 layer deep convnet, demonstrating that convnets can be used to solve complicated out of image plane regression problems. This was made possible by leveraging transfer learning from large scale classification data. We show the convnet localizes from high level features and is robust to difficult lighting, motion blur and different camera intrinsics where point based SIFT registration fails. Furthermore we show how the pose feature that is produced generalizes to other scenes allowing us to regress pose with only a few dozen training examples. PoseNet code, dataset and an online demonstration is available on our project webpage, at http://mi.eng.cam.ac.uk/projects/relocalisation/

研究の動機と目的

• 初期のポーズ推定値や特徴マッチングを必要とせず、単眼6自由度カメラ再局所化のためのリアルタイムでエンドツーエンドの深層学習システムを開発すること。
• 大規模な手動アノテーション付きデータセットへの依存を減らすために、大規模な画像分類データセットからの転移学習を活用すること。
• モーションブラー、動的オブジェクト、照明の変化といった困難な視覚的条件下でも耐性のある再局所化を可能にすること。
• 数10例程度の追加学習例でのみ、事前学習済みネットワークからの深層特徴が新しいシーンにうまく一般化されることを示すこと。
• 訓練済みCNNの高レベル特徴を直接連続的なカメラポーズに回帰するために使用できることを示し、従来のSLAMや特徴マッチングパイプラインを回避できること。

提案手法

• 6自由度カメラポーズ（3つの並進、3つの回転）を1枚のRGB画像から直接回帰する23層の深層畳み込みニューラルネットワーク（PoseNet）をエンドツーエンドで訓練する。
• ImageNetで事前学習した重みでネットワークを初期化し、シーン固有のデータで微調整することで収束性と性能を向上させる転移学習を適用する。
• シーンの動画シーケンスから構造からモーション（SfM）を用いて自動的にポーズラベルを生成し、手動アノテーションを排除する。
• 予測されたポーズと真値ポーズの間の平均二乗誤差損失関数を用いてネットワークを訓練する。
• 類似度マップを用いて、どの画像領域がポーズ予測に最も寄与しているかを解釈し、テクスチャレスな表面や動的オブジェクトに対しても耐性があることを明らかにする。
• t-SNE可視化を特徴ベクトルに適用し、その幾何的構造を分析し、一対一でポーズ依存的な性質を評価する。

実験結果

リサーチクエスチョン

• RQ1 深層畳み込みニューラルネットワークは、1枚のRGB画像からリアルタイムに連続的な6自由度カメラポーズを直接回帰できるか？
• RQ2 大規模な分類データセットからの転移学習は、大規模な手動アノテーション付き再局所化データセットの必要性をどの程度低減できるか？
• RQ3 モーションブラー、動的オブジェクト、照明の変化といった困難な視覚的条件下でのポーズレグレッサーの耐性はどの程度か？
• RQ4 学習された特徴表現は、数10例程度の追加学習サンプルでのみ、新しいシーンに一般化できるか？
• RQ5 ネットワークの内部表現はカメラポーズに関して滑らかで一対一の関数であり、トラッキングや特徴対応を経由せずに直接回帰が可能か？

主な発見

• PoseNetは、最大50,000m²の屋外大規模シーンで約2mおよび6°の再局所化精度を達成し、屋内では約0.5mおよび10°の精度を達成する。1フレームあたりの推論時間はわずか5msである。
• 数10例の追加学習例でのみ、未確認のシーンに一般化できることを示し、強力な少サンプル一般化能力を示している。
• 類似度マップから、PoseNetは特徴的な点特徴と大規模なテクスチャレスな領域の両方に依存しており、SIFTが失敗する場面でも耐性があることが明らかになった。
• 歩行者などの動的オブジェクトを効果的に抑制しており、シーンのごみやノイズに対する学習済み不変性を示している。
• t-SNE可視化により、特徴ベクトルがポーズに関して滑らかで一対一の多様体を形成していることが確認された。これは、関連のないデータセットで学習した場合でも同様に成立する。
• システムは非常に効率的であり、モデル重みのストレージがわずか50MBで、1回の推論に5msしかかからず、SIFTや最近傍探索CNNベースラインを凌駆するスピードとメモリ使用量を達成している。