[論文レビュー] Panoramic Structure from Motion via Geometric Relationship Detection

Satoshi Ikehata, Ivaylo Boyadzhiev+2 more|arXiv (Cornell University)|Dec 5, 2016

Advanced Vision and Imaging参考文献 3被引用数 3

ひとこと要約

本稿では、深層画像から法線を推定するネットワークを用いて粗い表面法線を取得し、その情報をもとに3次元空間における2次元線の同一平面上にある関係（共面性）を検出することで、単一視点と多視点の再構成を統合する、屋内パノラマ画像ストリーム向けの構造からモーション（SfM）手法を提案する。検出された共面性制約は、制約付き最小二乗法を用いた線ベースの線形SfM定式化に統合され、その後ボンデュール調整が適用され、従来のSfMおよびSLAMシステムに比べ、困難な低テクスチャ・最小基線パノラマデータセットにおいて優れた性能を達成する。

ABSTRACT

This paper addresses the problem of Structure from Motion (SfM) for indoor panoramic image streams, extremely challenging even for the state-of-the-art due to the lack of textures and minimal parallax. The key idea is the fusion of single-view and multi-view reconstruction techniques via geometric relationship detection (e.g., detecting 2D lines as coplanar in 3D). Rough geometry suffices to perform such detection, and our approach utilizes rough surface normal estimates from an image-to-normal deep network to discover geometric relationships among lines. The detected relationships provide exact geometric constraints in our line-based linear SfM formulation. A constrained linear least squares is used to reconstruct a 3D model and camera motions, followed by the bundle adjustment. We have validated our algorithm on challenging datasets, outperforming various state-of-the-art reconstruction techniques.

研究の動機と目的

• 標準的なSfMおよびSLAM手法が失敗する、最小基線・低テクスチャのパノラマ屋内画像ストリームにおける3次元再構成の課題に対処すること。
• 検出された関係からの幾何的事前知識を活用することで、粗い単一視点再構成と高精度な多視点SfMの間のギャップを埋めること。
• 共面線関係の検出により、テクスチャが乏しく回転が主なパノラマシーケンスにおいて、再構成の精度と耐障害性を向上させること。
• 特別なハードウェアを必要とせず、標準的なスマートフォンやタブレットカメラでのみ、高品質な屋内環境の3次元モデリングを可能にすること。

提案手法

• 深層画像から法線を推定するネットワークから得られる粗い表面法線推定値を用いて、幾何的関係（例：2次元線の共面性）を検出する。
• 検出された共面性関係を線形幾何的制約として表現する線ベースSfM問題を定式化する。
• 制約付き線形最小二乗法を用いて3次元構造とカメラの運動を推定するSfM問題を解く。
• 初期解の精度を向上させるためにボンデュール調整を適用する。
• 低テクスチャ・低基線状況において再構成を安定化させるために、検出された関係を正確な幾何的制約として活用する。
• 単一視点の幾何的事前知識（例：床・天井の検出）と多視点最適化を統合することで、耐障害性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 深層学習で得た表面法線を用いて、パノラマ屋内画像ストリームにおける2次元線の共面性関係を信頼性高く検出できるか？
• RQ2 単一視点の幾何的事前知識を、低テクスチャ・最小基線シーンにおける多視点SfMフレームワークに効果的に統合できるか？
• RQ3 単一視点と多視点手法の統合が、困難なパノラマデータセットにおいて、最先端のSfMおよびSLAMシステムに比べて、どの程度再構成精度を向上させるか？
• RQ4 パノラマSfMにおいて、クリアでアーチファクトのない3次元モデルを得るためには、正確なカメラ移動量推定がどの程度重要か？

主な発見

• 提案手法は、困難なパノラマ屋内データセットにおいて、複数の最先端SfMおよびSLAMシステムを上回る性能を示し、特に低テクスチャ・最小基線条件下で顕著な優位性を示す。
• Living Room や Bedroom のようなデータセットにおいて、OpenMVG（上位性能を誇るグローバルSfMシステム）に比べ、再投影誤差が常に数倍小さくなる。
• カメラ移動量をゼロに制約（単一視点再構成を模倣）すると、著しく歪んだ3次元モデルが得られるため、正確な移動量推定の重要性が明確に示された。
• 他のSfMシステムが短い特徴点トラックと疎な特徴点のため失敗するか不完全な結果を出すデータセットにおいても、本手法はほぼ完全な3次元モデルを再構成できた。
• 深層学習で得た表面法線を用いることで、テクスチャが乏しい領域でも共面性関係を信頼性高く検出でき、耐障害性の高い幾何的制約の基盤を形成した。
• 検出された関係から得られる幾何的事前知識の統合により、特徴点マッチングや単一視点深度推定に依存する手法よりも、より正確で安定した3次元再構成が実現された。