[論文レビュー] Scan2Plan: Efficient Floorplan Generation from 3D Scans of Indoor Scenes

Ameya Phalak, Vijay Badrinarayanan+1 more|arXiv (Cornell University)|Mar 16, 2020

3D Surveying and Cultural Heritage参考文献 39被引用数 13

ひとこと要約

Scan2Planは、屋内シーンの3次元スキャンから正確で効率的なフロアプランを生成するための2段階のディーブラーニング手法を提案する。合成3次元点群から部屋や壁をクラスタリングするためのPointNet++ベースのボーティングネットワークを用い、キーポイント上で最短経路アルゴリズムを適用して閉じた周囲を計算する。完全に合成データでの訓練に依存するが、Structured3DおよびBKEデータセットにおいて最先端の正確性と速度を達成する。

ABSTRACT

We introduce Scan2Plan, a novel approach for accurate estimation of a floorplan from a 3D scan of the structural elements of indoor environments. The proposed method incorporates a two-stage approach where the initial stage clusters an unordered point cloud representation of the scene into room instances and wall instances using a deep neural network based voting approach. The subsequent stage estimates a closed perimeter, parameterized by a simple polygon, for each individual room by finding the shortest path along the predicted room and wall keypoints. The final floorplan is simply an assembly of all such room perimeters in the global co-ordinate system. The Scan2Plan pipeline produces accurate floorplans for complex layouts, is highly parallelizable and extremely efficient compared to existing methods. The voting module is trained only on synthetic data and evaluated on publicly available Structured3D and BKE datasets to demonstrate excellent qualitative and quantitative results outperforming state-of-the-art techniques.

研究の動機と目的

• 屋内環境の3次元スキャンから効率的で正確なフロアプラン生成手法の開発を目的とする。
• 現実世界のアノテート済み3次元フロアプランデータセットの不足を補うために、完全に手続き的に生成された合成データセットでの訓練を実現する。
• 部屋数、形状、構成に制限のないフロアプラン推定を可能にする。
• グローバル問題を局所的で独立したタスクに分解することで、高い並列処理性と計算効率を実現する。
• 訓練時にマンハッタンスタイルのデータのみを用いても、非マンハッタンおよび複雑なレイアウトにまで強力に一般化できることを示す。

提案手法

• 無順序な3次元点群から部屋および壁のクラスタラベルを予測するために、ボーティング機構を備えたPointNet++バックボーンが用いられる。
• 合成データ生成時にランダムな回転を適用することで、軸に沿わないレイアウトへの一般化を向上させる。
• 部屋および壁のキーポイントを用いて、グラフ表現上で最短経路アルゴリズムを適用して各部屋の閉じた周囲を計算する。
• 周囲は単純な多角形としてパラメータライズされ、元の座標系に従ってグローバルフロアプランに統合される。
• 壁の除去ステップにより、点が少ない壁を除去してノイズを低減し、周囲の品質を向上させる。その後の後処理により、重複しない部屋の多角形が保証される。
• パイプラインは完全にエンドツーエンドで訓練可能であり、並列処理が容易で、複雑なシーンにおいてもリアルタイム推論が可能である。

実験結果

リサーチクエスチョン

• RQ1 完全に合成データで訓練されたフロアプラン生成モデルは、現実世界の複雑な屋内レイアウトにも一般化可能か？
• RQ2 スケールに応じて、どのようにして正確で計算的に効率的なフロアプラン推定を実現できるか？
• RQ3 2段階アプローチ（クラスタリング followed による手順的周囲適合）は、グローバル最適化手法を上回る程度の性能を発揮できるか？
• RQ4 訓練時にマンハッタンスタイルのデータのみを用いても、非マンハッタンレイアウトや曲がった壁をどのように処理できるか？
• RQ5 ランダム回転などのデータ拡張技術がモデルの一般化性能に与える影響はどの程度か？

主な発見

• Scan2PlanはStructured3DおよびBKEデータセットにおいて最先端の性能を達成し、精度とエンドツーエンド推論速度の両面で先行研究を上回る。
• BKE-structデータセットでは、FloorSPよりも高い正確性を示すが、選択的な部屋生成のため再現率は低い。
• ランダム回転によるデータ拡張のおかげで、訓練時に見なかった非マンハッタンレイアウトや複雑な構成に対しても、成功裏に一般化している。
• 失敗事例には、クラスタリングの誤りや壁の除去による小さな部屋の欠落、セグメントの統合に起因する曲がった壁の表現の不正確さがある。
• 入力点群に欠損やノイズが存在してもモデルは頑健であるが、極端な遮蔽やデータ損失（例：フィルタリングによる）が生じると、非コンパクトなフロアプランが生成されることがある。
• パイプラインは非常に並列処理可能であり、多数の部屋や壁を含む複雑なシーンの効率的処理が可能である。