[論文レビュー] Floor-SP: Inverse CAD for Floorplans by Sequential Room-wise Shortest Path

Jiacheng Chen, Chen Wang+2 more|arXiv (Cornell University)|Aug 19, 2019

3D Surveying and Cultural Heritage参考文献 20被引用数 6

ひとこと要約

Floor-SPは、RGBDスキャンからのフロアプラン再構築のための新規な逆CADアプローチを提案する。これは、最短経路問題を解くことで多角形の部屋ループを精緻化する順次的で部屋単位の座標降下最適化として定式化されたものである。527件の実世界のアパートにおいて最先端の性能を達成しており、特にマンハッタン的でない構造や遮蔽された構造において、脆弱なコーナー／エッジ検出に依存しない代わりに、深層学習でガイドされたデータ項を用いて一貫性とモデルの複雑さを最適化することで、先行手法を顕著に上回っている。

ABSTRACT

This paper proposes a new approach for automated floorplan reconstruction from RGBD scans, a major milestone in indoor mapping research. The approach, dubbed Floor-SP, formulates a novel optimization problem, where room-wise coordinate descent sequentially solves dynamic programming to optimize the floorplan graph structure. The objective function consists of data terms guided by deep neural networks, consistency terms encouraging adjacent rooms to share corners and walls, and the model complexity term. The approach does not require corner/edge detection with thresholds, unlike most other methods. We have evaluated our system on production-quality RGBD scans of 527 apartments or houses, including many units with non-Manhattan structures. Qualitative and quantitative evaluations demonstrate a significant performance boost over the current state-of-the-art. Please refer to our project website http://jcchen.me/floor-sp/ for code and data.

研究の動機と目的

• RGBDスキャンから未知で多様なトポロジーを持つフロアプランを再構築する課題に取り組むこと。特に、マンハッタン的でない環境や遮蔽された環境において有効であることを目的とする。
• 部品検出に依存するボトムアップ手法の失敗モード（例：欠落したコーナーが原因で壁が欠落する）を克服するため、プリミティブ検出を避けて、ループベースで最適化駆動のアプローチに移行すること。
• 部屋単位の多角形ループ上でのエネルギー最小化問題としてフロアプラン再構築を定式化することで、構造的正確性と耐障害性を向上させること。
• マンハッタン幾何学に制限を設けず、大規模でプロダクション品質のデータセットに対しても高品質な再構築を可能にすること。

提案手法

• まず、マスクR-CNNを用いてインスタンスセマンティックセグメンテーションを実行し、部屋境界を特定することで、フロアプラン推論を複数の多角形ループの再構築問題に還元する。
• 3つの構成要素を持つグローバル最適化問題を定式化する：データ項（深層ニューラルネットワークでガイド）、一貫性項（隣接する部屋間で共通のコーナー／壁を促進）、モデルの複雑さ項（過剰なコーナーをペナルティ化）。
• 最適化は部屋単位の座標降下戦略を用い、各部屋に対して最短経路問題を逐次的に解き、コーナーの配置と接続を精緻化しながら隣接部屋との一貫性を維持する。
• 明示的なプリミティブ検出を避けて、直接的にコーナー位置とループ構造を最適化することで、ノイズが多いまたは欠落した低レベル検出に対しても耐障害性を発揮する。
• 後処理のヒューリスティクスにより、個々の部屋のグラフを統合された2次元フロアプラングラフに統合する。
• システムは、アラインされたRGBDパノラマのトップダウン投影を処理し、完全な3次元幾何構造を破棄して2次元フロアプラン構造に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 順次的で部屋単位の最適化戦略は、RGBDスキャンからの複雑なフロアプラン再構築において、ボトムアップのプリミティブ検出を上回ることができるか？
• RQ2 多角形ループ上の最短経路に基づく最適化は、従来の手法と比較して、遮蔽や非マンハッタン的幾何構造に対してどのように耐障害性を向上させるか？
• RQ3 深層学習でガイドされたデータ項と一貫性制約は、コーナー／エッジ検出に依存せず、再構築の正確性をどの程度向上させられるか？
• RQ4 本手法は、非マンハッタン的シーンを含む多様な建築的構造を持つ大規模で現実世界のデータセットにおいて、高い性能を発揮できるか？
• RQ5 個々の部屋に対する座標降下が、反復的精緻化における構造的誤りの是正にどのような影響を及えるか？

主な発見

• Floor-SPは、現在の最先端手法であるFloorNetよりも顕著な性能向上を達成しており、特にマンハッタン的でない構造や遮蔽された構造において、FloorNetのコーナー検出の失敗に起因する問題を顕著に改善している。
• データ項と一貫性項の追加により部屋レベルの指標が向上し、部屋単位の座標降下戦略がさらなる性能向上をもたらしている。
• 94件のテストセットにおいて、Floor-SPは部屋レベルの指標でFloorNetを上回り、欠落または曖昧なコーナーの処理において顕著な改善を示している。
• 低レベルのRoom++指標（例：0の精度／再現率）であっても、Floor-SPの再構築結果は視覚的に妥当で構造的に整合的であり、セグメンテーションや検出の誤りに対しても耐障害性があることを示している。
• FloorNetがプリミティブ欠落のため失敗する非マンハッタン的シーンにおいても、本手法は困難なコーナーや壁構造を正常に回復している。
• 可視化と定量的結果から、順次的最適化プロセスが複数ラウンドにわたり誤りを是正しており、エネルギーが低下し構造が改善されることが確認された。