[論文レビュー] Deep Convolutional Neural Network for 6-DOF Image Localization

Daoyuan Jia, Yongchi Su+1 more|arXiv (Cornell University)|Nov 8, 2016

Advanced Neural Network Applications参考文献 19被引用数 5

ひとこと要約

本論文は、3次元点群モデルから数十万枚の合成自己ラベル画像を生成することで、エンドツーエンドのポーズ回帰を学習するための深層畳み込みニューラルネットワーク（ConvNet）を提案する。この手法は、合成データと事前学習モデルを活用することで、照明や季節の変化に対して高い耐性を示し、実際のテスト画像において1.01mの位置誤差と0.98°の方向誤差を達成し、従来手法を著しく上回る性能を発揮した。

ABSTRACT

We present an accurate and robust method for six degree of freedom image localization. There are two key-points of our method, 1. automatic immense photo synthesis and labeling from point cloud model and, 2. pose estimation with deep convolutional neural networks regression. Our model can directly regresses 6-DOF camera poses from images, accurately describing where and how it was captured. We achieved an accuracy within 1 meters and 1 degree on our out-door dataset, which covers about 2 acres on our school campus.

研究の動機と目的

• 深層学習ベースの画像局所化に必要な大規模かつ正確にラベル付けされた6-DOFトレーニングデータの不足を解決すること。
• 手作業で設計された特徴量に依存せず、画像から直接6-DOFカメラポーズを回帰するエンドツーエンドの深層ConvNetパイプラインの開発。
• 一般的に性能を低下させる要因となる照明変化や季節的変化に対する耐性を向上させること。
• 1つのシーンで学習したモデルを、最小限のファインチューニングで他のシーンに適用可能なトランスファーラーニングを可能にすること。
• 3次元再構築から合成された正確にラベル付けされた画像を生成することで、「真値ジレンマ」を克服すること。

提案手法

• レンダリング技術とシェーダーを用いて、3次元点群モデルから多様な照明や天候状態を模擬した現実的で6-DOFラベル付きの「写真」を数十万枚合成する。
• 学習の加速と収束性の向上を図るため、事前学習済みImageNetモデル（CaffeNet、GoogLeNet、VGG16）を初期化に用いる。
• ネットワークの最終全結合層を変更し、6-DOFポーズ（3次元位置と3次元回転をクaternionで表現）を出力するようにし、学習率増幅を強化する。
• 一般化性能の向上を目的に、画像のミラー画像化と平均値の差し引きをデータオーグメンテーションに適用するが、無効な対称ペアを避ける。
• GPUメモリ制限のためバッチ蓄積を適用し、学習率の段階的減少を伴う確率的勾配降下法でネットワークを訓練する。各アーキテクチャごとに最適化された学習率を設定する。
• VGG16に中間損失層を導入し、勾配の流れを強化し、学習の安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 3次元点群から生成された合成自己ラベル画像は、深層学習を用いた6-DOF画像局所化の精度と耐性を顕著に向上させることができるか？
• RQ2 エンドツーエンドの深層ConvNet回帰は、従来の特徴量マッチングやSLAMベースの手法と比較して、精度と効率の面でどのように差をつけるか？
• RQ3 1つのシーンで学習したモデルを他のシーンにどれほど効果的に転移可能か？また、収束速度と性能にどのような影響を与えるか？
• RQ4 従来の特徴記述子（例：SIFT）が失敗するような照明変化や季節的変化の下でも、提案手法が高い精度を維持できるか？
• RQ5 事前学習モデルと合成データを用いることで、実世界のトレーニング画像が限られている状況でも、ポーズ回帰におけるオーバーフィッティングを緩和できるか？

主な発見

• 本手法は、学校のスタジアムシーンの実際のテスト画像（TestsetA）において、平均位置誤差1.01メートル、方向誤差0.98度を達成し、PoseNet* よりも10倍以上も方向精度が優れていた。
• 合成されたテスト画像（TestsetB）では、位置誤差0.93メートル、方向誤差0.42度を達成し、未観測だが現実的である画像条件に対しても優れた一般化性能を示した。
• 実際のトレーニングフレームでファインチューニングされたGoogLePose†モデルは、TestsetBで0.91メートルと0.39度の誤差を記録し、実データと合成データを組み合わせた利点を示した。
• トランスファーラーニングの結果、1つのシーンで事前学習したモデルは、新しいシーンに適用する際、収束に必要なトレーニングエポック数が少なく抑えられ、学習効率が向上した。
• 合成段階でのデータオーグメンテーションのおかげで、照明変化や季節的変化に対しても耐性を示し、SIFTベースの手法よりも厳しい照明条件下でも優れた性能を発揮した。
• 点群からの合成データを用いることで、「真値ジレンマ」が解決され、GPSや手動アノテーションを用いずに大規模かつ正確なラベル付けが可能になった。