[論文レビュー] Image-based Localization using Hourglass Networks

Iaroslav Melekhov, Juha Ylioinas+2 more|arXiv (Cornell University)|Mar 23, 2017

Advanced Vision and Imaging被引用数 12

ひとこと要約

本論文は、スキップ接続とアップコンボリューション層を用いて特徴回復を向上させる、1枚の画像におけるカメラ再局所化のための時計型のエンコーダデコーダーCNNを提案する。この手法は最先端の性能を達成し、PoseNetと比較して平均的な並進誤差を52.27%、回転誤差を8.47%削減する。7-Scenesデータセットにおいて、マルチフレームシーケンスを用いる手法でさえも上回る性能を示している。

ABSTRACT

In this paper, we propose an encoder-decoder convolutional neural network (CNN) architecture for estimating camera pose (orientation and location) from a single RGB-image. The architecture has a hourglass shape consisting of a chain of convolution and up-convolution layers followed by a regression part. The up-convolution layers are introduced to preserve the fine-grained information of the input image. Following the common practice, we train our model in end-to-end manner utilizing transfer learning from large scale classification data. The experiments demonstrate the performance of the approach on data exhibiting different lighting conditions, reflections, and motion blur. The results indicate a clear improvement over the previous state-of-the-art even when compared to methods that utilize sequence of test frames instead of a single frame.

研究の動機と目的

• テクスチャの欠落、繰り返し構造、遮蔽があるようなシーンにおいて、特徴ベース手法の限界を克服するため、キーポoinマッチングの代わりにディープラーニングを採用する。
• 運動ブラー、反射、照明の変化といった困難な視覚的条件下でも、カメラポーズ推定の精度を向上させる。
• エンコーダデコーダー構造にスキップ接続を組み込むことで、微細なディテールを保持しつつ、グローバルなコンテキストを維持し、頑健な回帰を実現する。
• 大規模な分類データセットからの転移学習を活用して、限られた再局所化データに対して一般化性能を向上させるエンドツーエンドの学習を実現する。
• 1枚の画像アプローチが、時間的シーケンスが必須であるという仮定に反して、マルチフレーム手法を上回る精度を達成できることを示す。

提案手法

• 畳み込み層によるダウンサンプリングを経由するエンコーダーと、デコンボリューション層によるアップサンプリングを行うデコーダーを備えた対称的な時計型CNNを設計する。
• エンコーダー内の初期残差ブロックから、対応するデコンボリューション層へのスキップ接続を導入し、微細な特徴を保持する。
• 最終特徴マップから6自由度のカメラポーズ（3次元位置と3次元回転）を予測するための、3層の全結合層からなる回帰ヘッドを用いる。
• 7-Scenesデータセットにおけるポーズ誤差を最小化する目的で、スケーリング正規化を施した平均二乗誤差損失関数を用いて、ネットワークをエンドツーエンドで学習する。
• ランダムクロップ（224×224）によるデータオーグメンテーションと、中央クロップ評価を実施する。Adam最適化手法を用い、固定されたハイパーパramータ（β₁=0.9, β₂=0.99, weight decay=10⁻⁵）を設定する。
• 再局所化タスクにおける収束性と性能向上のため、ImageNetでの事前学習からの転移学習を活用する。

実験結果

リサーチクエスチョン

• RQ1 スキップ接続を備えたエンコーダデコーダーCNNアーキテクチャは、標準的な回帰ネットワークと比較して、1枚の画像におけるカメラ再局所化の精度を向上させることができるか？
• RQ2 デコンボリューションによるアップサンプリングを通じて微細な視覚的ディテールを保持することで、テクスチャの損失や運動ブラーがある困難なシーンにおけるポーズ推定の精度が向上するか？
• RQ3 1枚の画像ベースのCNN手法は、時間的シーケンスを用いるVidLocのようなマルチフレーム手法をどの程度上回ることができるか？
• RQ4 さまざまな照明条件やシーン状況において、提案された時計型アーキテクチャはPoseNetと比較してどの程度の頑健性を示すか？
• RQ5 初期残差層からのスキップ接続は、カメラ再局所化タスクにおける回帰のための特徴表現を顕著に改善できるか？

主な発見

• HourglassSum-Poseアーキテクチャは、7-ScenesデータセットにおいてPoseNetと比較して平均並進誤差を52.27%、回転誤差を8.47%削減した。
• HourglassSum-Poseは、すべてのシーンでLSTM-Poseよりも高い回転精度を達成しており、ポーズ回帰における時計型設計の有効性を示している。
• マルチフレームベースラインであるVidLocを下回り、平均並進誤差を1〜2 cm削減することで、1枚の画像アプローチがシーケンスベースの手法を上回ることを実証した。
• 「チェス」シーンでは、HourglassSum-Poseの予測の60%以上が真値から20 cm以内に収束するが、PoseNetではわずか5%にとどまる。繰り返し構造のあるシーンにおける頑健性が顕著に示された。
• 高頻度の繰り返しと曖昧さが特徴の「階段」シーンでも、モデルは強力な性能を維持しており、特徴ベース手法が通常劣化する状況でも一般化性能が向上していることを示している。
• 累積ヒストグラム解析により、両方の時計型アーキテクチャがPoseNetを一貫して上回ることが確認され、全シーンにおいて並進精度が1.5〜2.3倍向上している。