[論文レビュー] Pano2CAD: Room Layout From A Single Panorama Image

Jiu Xu, Björn Stenger+2 more|arXiv (Cornell University)|Sep 29, 2016

Advanced Vision and Imaging参考文献 35被引用数 5

ひとこと要約

本稿では、マンハッタンワールド仮定の下でベイジアン推論を用いて、1枚の360°パノラマ画像から3次元の部屋レイアウトとオブジェクトのポーズを再構築するPano2CADを提案する。表面法線推定、上位からの2次元オブジェクト検出、および文脈的事前分布を統合した3次元ポーズ推定により、深度センサーや複数の視点が不要な状態で妥当な部屋の仮説をサンプリングし、正確なレイアウトとオブジェクトの幾何形状推定を達成する。

ABSTRACT

This paper presents a method of estimating the geometry of a room and the 3D pose of objects from a single 360-degree panorama image. Assuming Manhattan World geometry, we formulate the task as a Bayesian inference problem in which we estimate positions and orientations of walls and objects. The method combines surface normal estimation, 2D object detection and 3D object pose estimation. Quantitative results are presented on a dataset of synthetically generated 3D rooms containing objects, as well as on a subset of hand-labeled images from the public SUN360 dataset.

研究の動機と目的

• 単一のパノラマ画像からの3次元インドアシーン再構築という課題に取り組む。これは、幾何的ヒントが限られているため、本質的に不定である。
• 先行研究の制限的なボックス形状の部屋仮定を緩和し、マンハッタンワールド制約を用いて複雑で非長方形の部屋幾何形状をモデル化する。
• シーンの文脈を統合した上位からの検出と3次元モデルライブラリを用いて、3次元オブジェクトの局所化とポーズ推定を向上させる。
• 壁、オブジェクト、およびそれらの空間的配置の関係をモデル化する文脈的事前分布を開発し、仮説のサンプリングを支援する。
• 合成データ上で定量的に評価し、SUN360データセットの実世界画像上で定性的に評価する。

提案手法

• 1枚のパノラマを18のパース投影に変換し、ピクセル単位の表面法線推定とFaster R-CNNを用いた2次元オブジェクト検出を可能にする。
• オブジェクト検出はパース投影上で実行され、バウンディングボックスはパノラマに戻って投影され、一貫性のあるシーン表現が得られる。
• 初期の3次元オブジェクトポーズは、CRFベースの最適化を用いて、検出された2次元オブジェクトと3次元モデルライブラリを照合することで推定される。この際、打ち切りと正則化が適用される。
• 既知の3次元オブジェクト寸法をシーンに投影し、検出された2次元バウンディングボックスと一致させることで、グローバルスケールを間接的に推定する。
• 壁とオブジェクト間の空間的関係をモデル化する文脈的事前分布を用いて、部屋の仮説をサンプリングする。事後確率はベイジアン推論により評価される。
• 複数エポックのサンプリング戦略により、仮説を段階的に改善する。各エポックでスコアが最も高いサンプルが、次のエポックのシードとして使用される。

実験結果

リサーチクエスチョン

• RQ1 単一のパノラマ画像から、単純なボックス形状を越えた完全な3次元部屋レイアウトを推定できるか？
• RQ2 オブジェクト検出と3次元ポーズ推定を表面法線推定と効果的に統合することで、レイアウト再構築の精度が向上するか？
• RQ3 壁とオブジェクトの関係に関する文脈的事前分布を組み込むことで、3次元シーン仮説の正確性と妥当性はどの程度向上するか？
• RQ4 オブジェクト検出器が失敗したり、表面法線が不正確であったりする場合、実世界の画像においてこの手法はどの程度の性能を示すか？
• RQ5 深度センサーや複数の視点がなくても、既知の3次元オブジェクト寸法を活用することで、グローバルスケールを信頼性高く推定できるか？

主な発見

• 合成データ上で、本手法は正確な3次元部屋幾何形状再構築を達成し、壁の平均方位誤差は10.2°、オブジェクトの平均方位誤差は12.5°、位置誤差は0.21mであった。
• 文脈的事前分布の導入により、オブジェクトの平均方位誤差が平均で2.1°低下し、仮説の精練効果が明確に示された。
• Faster R-CNNを用いたMS COCO上でのオブジェクト検出性能は、平均平均適合率（mAP）49.0%を達成し、最先端手法と同等の性能を示した。
• 18枚のパース画像におけるオブジェクト検出の平均処理時間はGPUを用いて7秒であり、1部屋の仮説評価には30秒が要した。
• 失敗事例の主な原因は、細いまたは不規則な構造（例：細い家具や大きな植物）における表面法線推定の誤りであった。
• 本手法はSUN360の画像から、推定スケールを伴う自動2次元床図を正常に生成でき、実世界のパノラマへの応用可能性を示した。