[論文レビュー] RenderNet: Visual Relocalization Using Virtual Viewpoints in Large-Scale Indoor Environments

Jiahui Zhang, Shitao Tang+7 more|arXiv (Cornell University)|Jul 26, 2022

Advanced Image and Video Retrieval Techniques被引用数 6

ひとこと要約

RenderNetは、写真のようにリアルな画像をレンダリングするのではなく、学習されたグローバルおよびローカル特徴を用いて仮想視点を生成することで、大規模な屋内環境における視覚的再局所化のための新しい手法を提案する。これらの仮想ビューをデータベースに追加し、それらを用いてポーズを精緻化することで、画像検索と特徴マッチングの性能が向上し、Inlocデータセットにおいて厳密なポーズ閾値下でそれぞれ7.1%および12.2%の精度向上を達成した。

ABSTRACT

Visual relocalization has been a widely discussed problem in 3D vision: given a pre-constructed 3D visual map, the 6 DoF (Degrees-of-Freedom) pose of a query image is estimated. Relocalization in large-scale indoor environments enables attractive applications such as augmented reality and robot navigation. However, appearance changes fast in such environments when the camera moves, which is challenging for the relocalization system. To address this problem, we propose a virtual view synthesis-based approach, RenderNet, to enrich the database and refine poses regarding this particular scenario. Instead of rendering real images which requires high-quality 3D models, we opt to directly render the needed global and local features of virtual viewpoints and apply them in the subsequent image retrieval and feature matching operations respectively. The proposed method can largely improve the performance in large-scale indoor environments, e.g., achieving an improvement of 7.1\% and 12.2\% on the Inloc dataset.

研究の動機と目的

• 大規模な屋内環境における視点および外観の変化が視覚的再局所化の性能を低下させるという課題に対処すること。
• 実際のデータベース画像とクエリ画像の重複度が低い再局所化パイプラインにおいて、画像検索と2D-3D対応特徴マッチングの性能を向上させること。
• 高コストで高精細な3Dモデルに依存することを排除し、仮想視点に必要なグローバルおよびローカル特徴のみを直接合成すること。
• 2段階の処理により再局所化精度を向上させること：仮想特徴を用いたビュー拡張と、粗い推定値を用いたポーズ精緻化。
• 特徴ベースの仮想ビュー生成が、画像ベースの合成に比べて、より頑健で高い性能を発揮することを示すこと。

提案手法

• RenderNetはニューラルネットワークを用いて仮想視点のグローバル特徴を直接予測し、画像検索でより良いマッチングを行うデータベースビューを特定するために使用する。
• 別個のネットワークであるRenderNet_Lは、仮想ビュー用の精緻化されたローカル特徴記述子を予測し、2D-3D特徴マッチングの精度を向上させる。
• 仮想視点は事前にシーン内でサンプリングされ、多様なカメラアングルをカバーするように設計されており、検索段階でのビュー拡張を可能にする。
• RANSACおよびPnPによる初期ポーズ推定の後、粗いポーズを用いて新しい仮想ビューを生成し、改善された対応関係を用いてポーズを精緻化する。
• 最終的に必要な特徴のみに焦点を当てることで、画像合成を回避し、アーティファクトを低減し、頑健性を向上させる。
• モデルはターゲットデータセット（Inloc）上で微調整され、シーン固有の外観変化に適応し、性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 学習された特徴を用いた仮想視点生成は、大規模な屋内再局所化における画像検索性能を向上させることができるか？
• RQ2 グローバルおよびローカル特徴のみを生成することは、画像全体の合成に比べて再局所化精度と頑健性において優れているか？
• RQ3 クエリ画像と実際のデータベース画像の重複度が低い状況において、仮想特徴を用いたビュー拡張はその影響をどの程度軽減できるか？
• RQ4 粗いポーズ推定値から生成された仮想ビューを用いたポーズ精緻化は、最終的な局所化精度をどの程度向上させるか？
• RQ5 ターゲットデータセット上でRenderNetを微調整することは、実世界の屋内環境における性能を顕著に向上させるか？

主な発見

• RenderNetは、InlocデータセットのDUC1シーンで7.1%、DUC2で12.2%の精度向上を(0.25m, 2°)の閾値下で達成し、顕著な性能向上を示した。
• ビュー拡張段階のみでも、DUC1では(0.25m, 2°)、(0.5m, 5°)、(1m, 10°)の各閾値下でそれぞれ4.0%、5.6%、6.5%の精度向上を、DUC2では16.0%、15.3%、12.2%の精度向上を達成した。
• ポーズ精緻化により、ビュー拡張のみの場合と比較して、(0.25m, 2°)の閾値下で精度がさらに4.6%および9.9%向上した。
• 完全なRenderNetパイプラインは、DUC1とDUC2の(5m, 10°)閾値下でそれぞれ25.9%および13.7%の精度向上を達成した。
• ローカル特徴精緻化モジュール（RenderNet_L）を削除すると、(5m, 10°)の閾値下で8.1%の性能低下が生じ、大規模な視点変化に対処する有効性が裏付けられた。
• Inlocデータセット上でRenderNetを微調整すると、(5m, 10°)の閾値下で3.5%および6.9%の性能向上が得られ、ドメイン適応の価値が確認された。