[論文レビュー] Floorplan Priors for Joint Camera Pose and Room Layout Estimation.

Cheng Lin, Changjian Li+2 more|arXiv (Cornell University)|Dec 17, 2018

Robotics and Sensor-Based Localization参考文献 32被引用数 7

ひとこと要約

本稿では、床面図の事前知識とマンハッタンワールド性質を活用することで、大規模または特徴のないシーンにおけるカメラポーズとルームレイアウトの同時推定手法を提案する。部分スキャンから局所的レイアウトを推定し、ループクロージャによるグローバルな整合性を確保することで、特徴ベースの手法と比較して優れた精度と耐障害性を達成する。

ABSTRACT

We present a novel approach to reconstruct large or featureless scenes. Our method jointly estimates camera poses and a room layout from a set of partial reconstructions due to camera tracking interruptions when scanning a large or featureless scene. Unlike the existing methods relying on feature point matching to localize the camera, we exploit the 3D box structure of a typical room layout that meets the Manhattan World property. We first estimate a local layout for each partial scan separately and then combine these local layouts to form a globally aligned layout with loop closure. We validate our method quantitatively and qualitatively on real and synthetic scenes of various sizes and complexities. The evaluations and comparisons show superior effectiveness and accuracy of our method.

研究の動機と目的

• 3D再構築の過程で、大規模または特徴のない環境でカメラトラッキングが失敗する問題に対処すること。
• 特徴的な視覚的特徴が欠如したシーンにおける局所化精度を向上させること。
• 部屋の幾何構造から得られる構造的事前知識を用いて、カメラポーズとルームレイアウトを同時に推定すること。
• 部分スキャンを統合してグローバルに一貫性のあるレイアウトを構築することで、耐障害性の高い再構築を実現すること。

提案手法

• 本手法は、マンハッタンワールド仮定を用いて、各部分スキャンに対して局所的な3次元ルームレイアウトを推定する。この仮定により、直交する平面が強制される。
• 部屋を3次元ボックス構造としてモデル化し、一般的な屋内環境の幾何的制約を活用する。
• 局所的レイアウトは、ループクロージャ検出を用いたグローバル最適化フレームワークにより精緻化され、整合化される。
• 特徴点マッチングに依存しないように、スキャン間での構造的一致性を用いる。
• カメラポーズとレイアウトパラメータを同時に最適化するフレームワークにより、幾何的不一致を最小化する。
• 共有される構造的制約を通じて、推定されたレイアウトを一致させることで、部分再構築を統合する。

実験結果

リサーチクエスチョン

• RQ1 特徴マッチングに失敗する大規模または特徴のないシーンにおいて、床面図の事前知識がカメラポーズ推定の精度を向上させるか。
• RQ2 局所的ルームレイアウトをどれだけ効果的にグローバルに一貫性のある3次元再構築に統合できるか。
• RQ3 マンハッタンワールド性質を強制することで、レイアウトおよびポーズ推定の精度が向上するか。
• RQ4 信頼できる特徴が欠如する状況下で、ループクロージャーが部分スキャンの整合性をどの程度向上させるか。

主な発見

• 特徴ベースのアプローチと比較して、大規模または特徴のないシーンにおけるカメラポーズ推定で優れた精度を達成する。
• 床面図の事前知識の活用により、特徴点マッチングが失敗しても耐障害性の高い再構築が可能になる。
• ループクロージャーによるグローバルレイアウトの整合化は、部分スキャン間の整合性を顕著に向上させる。
• 本手法は、複雑さの異なる実環境および合成シーンの両方で優れた性能を示す。
• 定量的評価により、幾何的整合性の向上と再構築誤差の低減が確認された。
• 本手法は、多様なシーンサイズおよび構造的複雑さに対しても高い精度を維持する。