[論文レビュー] Hierarchical Scene Coordinate Classification and Regression for Visual Localization

Xiaotian Li, Shuzhe Wang+3 more|arXiv (Cornell University)|Sep 13, 2019

Robotics and Sensor-Based Localization参考文献 68被引用数 132

ひとこと要約

本論文は、ピクセルごとの位置条件付き FiLM のようなモジュールを備えた階層的で粗から細へと進むシーン座標ネットワークを提案し、単一画像の RGB ローカリゼーションを改善します。複数のデータセットで最先端の性能を達成し、大規模環境に対してスケーラブルな性能を実現します。

ABSTRACT

Visual localization is critical to many applications in computer vision and robotics. To address single-image RGB localization, state-of-the-art feature-based methods match local descriptors between a query image and a pre-built 3D model. Recently, deep neural networks have been exploited to regress the mapping between raw pixels and 3D coordinates in the scene, and thus the matching is implicitly performed by the forward pass through the network. However, in a large and ambiguous environment, learning such a regression task directly can be difficult for a single network. In this work, we present a new hierarchical scene coordinate network to predict pixel scene coordinates in a coarse-to-fine manner from a single RGB image. The network consists of a series of output layers, each of them conditioned on the previous ones. The final output layer predicts the 3D coordinates and the others produce progressively finer discrete location labels. The proposed method outperforms the baseline regression-only network and allows us to train compact models which scale robustly to large environments. It sets a new state-of-the-art for single-image RGB localization performance on the 7-Scenes, 12-Scenes, Cambridge Landmarks datasets, and three combined scenes. Moreover, for large-scale outdoor localization on the Aachen Day-Night dataset, we present a hybrid approach which outperforms existing scene coordinate regression methods, and reduces significantly the performance gap w.r.t. explicit feature matching methods.

研究の動機と目的

• 大規模または曖昧な環境での堅牢な単一画像 RGB ローカライズを動機づける。
• 離散的な位置ラベルと連続的な3D座標を予測する、階層的な粗から細へのネットワークを開発する。
• 粗い位置情報をより細かな予測へ伝搬させる要素ごとの条件付けレイヤを導入する。
• 小規模/中規模データセットで最先端のローカライズを実証し、大規模な屋外環境に対するスケーラブルなアプローチを示す。
• コンパクトなモデルが回帰のみのベースラインや従来手法と競合または上回ることを示す。

提案手法

• 複数レベルで離散的な位置ラベルとピクセルごとの連続的な3D座標を予測する階層的なシーン座標ネットワークを導入する。
• 予測された粗い位置ラベルに基づいて特徴を変調する出力層の前に条件付けレイヤを用いる（FiLM 系に似ているが空間位置ごと）。
• 各レベルの分類と3D座標の回帰を組み合わせた結合損失で学習する：L = w1 Lc^1 + w2 Lc^2 + w3 Lr。
• 粗いレベルで徐々に大きくなる受容野と、細かいレベルで小さく局所的な効果を持つ全球-局所設計を採用する。
• 最終回帰ステップなしで十分に細かい位置ラベルを用いることで分類のみの変種を有効にする。
• 7-Scenes、12-Scenes、Cambridge Landmarks、および大規模な i7-/i12-/i19-Scenes、さらにハイブリッド手法を用いた Aachen Day-Night で検証する。

実験結果

リサーチクエスチョン

• RQ1 回帰のみのモデルと比較して、階層的な粗から細への位置ラベリングは、大規模または曖昧なシーンでの識別を改善しますか。
• RQ2 提案された条件付けメカニズムは、回帰ベースのベースラインや従来手法と比べて精度、スケール耐性、モデルサイズにどのように影響しますか。
• RQ3 データセット間および統合シーンでのローカライズ性能に対する階層の深さ/幅と受容野の選択の影響は何ですか。
• RQ4 スパース特徴と画像検索を用いて、屋外/大規模ローカリゼーション（Aachen Day-Night）に方法を適応するにはどうすればよいか。
• RQ5 条件付けを伴う結合分類-回帰の定式化は、単一画像のRGBローカリゼーションで最先端の成果をもたらしますか。

主な発見

• 階層化された条件付きネットワークは、7-Scenes、12-Scenes、Cambridge Landmarks において単一画像のRGBローカリゼーションで最先端を達成します。
• この手法は、組み合わせシーンで特に、回帰のみのベースラインより大規模環境（i7-/i12-/i19-Scenes）へのスケーリングがより堅牢です。
• モデルはコンパクトなままで、以前のエンサンブル手法（例：ESAC）と比較してサイズを大幅に削減しつつ、精度も競争力があります。
• Aachen Day-Night では、階層的ネットワークをスパース特徴と画像検索と組み合わせたハイブリッド手法が、ESACを大幅に上回り、大規模なデスクリプタデータベースを保存せずに特徴ベース手法に近づきます。
• 条件付け機構は重要であり、条件付けを無くすと特に大規模環境で性能が大きく低下します。
• データ拡張は一般的に提案手法を支援しますが、データセットによって効果は異なります。大規模設定の中には拡張なしでも高い性能を維持するケースもあります。