[論文レビュー] 3D Scene Geometry-Aware Constraint for Camera Localization with Deep Learning

Mi Tian, Qiong Nie+1 more|arXiv (Cornell University)|May 13, 2020

Robotics and Sensor-Based Localization参考文献 36被引用数 4

ひとこと要約

本論文は、ピクセルレベルの光度損失と画像レベルの構造的類似度損失を通じて3次元シーン幾何構造に配慮した制約を統合することにより、運動、深度、画像コンテンツを活用して、絶対カメラポーズ回帰のためのコンactなディープラーニングネットワークを提案する。この手法は、最先端の手法と比較して、多様な屋内および屋外シーンにおいて、局所化精度と収束速度の両面で顕著な向上を達成する。

ABSTRACT

Camera localization is a fundamental and key component of autonomous driving vehicles and mobile robots to localize themselves globally for further environment perception, path planning and motion control. Recently end-to-end approaches based on convolutional neural network have been much studied to achieve or even exceed 3D-geometry based traditional methods. In this work, we propose a compact network for absolute camera pose regression. Inspired from those traditional methods, a 3D scene geometry-aware constraint is also introduced by exploiting all available information including motion, depth and image contents. We add this constraint as a regularization term to our proposed network by defining a pixel-level photometric loss and an image-level structural similarity loss. To benchmark our method, different challenging scenes including indoor and outdoor environment are tested with our proposed approach and state-of-the-arts. And the experimental results demonstrate significant performance improvement of our method on both prediction accuracy and convergence efficiency.

研究の動機と目的

• 複雑な3次元環境における絶対カメラポーズ回帰の精度と効率を向上させること。
• 幾何的事前知識を組み込むことで、エンドツーエンドのディープラーニング手法と従来の3次元幾何学ベースの手法のギャップを埋めること。
• 運動、深度、画像コンテンツを効果的に活用して、頑健なカメラ局所化を実現するコンactなネットワークを開発すること。
• 現実世界の条件下で、挑戦的な屋内および屋外シーンにおいて性能をベンチマークすること。
• ディープニューラルネットワークにおける幾何的正則化を通じて収束速度と予測の頑健性を向上させること。

提案手法

• ピクセルレベルの光度損失と画像レベルの構造的類似度損失を組み合わせることで、3次元シーン幾何構造に配慮した制約を導入する。
• 光度損失は、深度と運動情報を利用して、予測された画像再構成と真値画像再構成の整合性を強制する。
• 構造的類似度損失は、視点間での高レベルの画像構造を保存することで、特徴の整合性を向上させる。
• この制約は、エンドツーエンドのカメラポーズ回帰のためのコンact畳み込みニューラルネットワークに正則化項として統合される。
• 運動および深度データを用いて、トレーニング中の監視のために歪み画像を合成する。
• ポーズ回帰と幾何的整合性損失の両方を同時に最適化することで、エンドツーエンドでネットワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングベースのカメラ局所化システムは、3次元シーン幾何構造の制約を組み込むことで、より高い精度を達成できるか？
• RQ2 光度損失と構造的類似度損失を統合することで、収束速度と頑健性にどのような影響を与えるか？
• RQ3 提案手法は、屋内および屋外環境の両方で最先端の手法を上回る性能を示すか？
• RQ4 運動、深度、画像コンテンツを用いることで、多様なシーンにわたる一般化性能がどの程度向上するか？
• RQ5 幾何的正則化を施したコンactなネットワークは、従来の3次元幾何学ベースの手法と同等またはそれ以上の性能を達成できるか？

主な発見

• 提案手法は、挑戦的な屋内および屋外シーンにおいて、予測精度と収束効率の両面で顕著な性能向上を達成する。
• 3次元シーン幾何構造に配慮した制約を統合することで、ベースラインのディープラーニングモデルと比較して、より頑健で正確なカメラポーズ推定が可能になる。
• 本手法は、複雑な屋内および屋外環境を含む多様な環境において、優れた一般化性能を示す。
• 光度損失と構造的類似度損失を併用することで、特徴学習が向上し、最適化の不安定性が低減される。
• コンactなネットワーク設計により、効率的な推論が可能でありながら高い精度を維持し、既存のエンドツーエンド手法を上回る。
• 本手法はICRA 2020での発表に採択され、ロボット工学およびコンピュータビジョン分野における評価を受けており、認められている。