[論文レビュー] Primitive-based 3D Building Modeling, Sensor Simulation, and Estimation

Xia Li, Yen-Liang Lin+3 more|arXiv (Cornell University)|Jan 16, 2019

Remote Sensing and LiDAR Applications参考文献 7被引用数 4

ひとこと要約

本論文は、プリミティブベースの3D建物モデリングのための合成データ駆動アプローチを提案する。この手法は、建物の分解をインスタンスセグメンテーションに定式化し、その後にプリミティブフィッティングを実行する。多様な形状、高さ、歪みを持つ合成建物を生成することで、衛星画像からコンパクトで解釈可能な3Dモデルを再構築する際の精度を高め、ポリゴン数を最大99.9%まで削減しながら、実世界のWorldView-3データにおいて90%以上のF1スコアを維持する。

ABSTRACT

As we begin to consider modeling large, realistic 3D building scenes, it becomes necessary to consider a more compact representation over the polygonal mesh model. Due to the large amounts of annotated training data, which is costly to obtain, we leverage synthetic data to train our system for the satellite image domain. By utilizing the synthetic data, we formulate the building decomposition as an application of instance segmentation and primitive fitting to decompose a building into a set of primitive shapes. Experimental results on WorldView-3 satellite image dataset demonstrate the effectiveness of our 3D building modeling approach.

研究の動機と目的

• リモートセンシングデータからコンパクトで解釈可能な3D建物モデルを生成する課題に対処すること。
• 多角形メッシュ表現の限界、すなわち冗長で意味的構造を欠いた表現を克服すること。
• 3D建物再構築のための高価な実世界のアノテート済み学習データへの依存を低減すること。
• 合成データ生成とディープラーニングを活用したスケーラブルな、データ駆動型のプリミティブベース3Dモデリング手法を開発すること。
• 衛星画像における複雑な建物形状に対して、堅牢なインスタンスセグメンテーションとプリミティブフィッティングを実現すること。

提案手法

• 合成建物生成パイプラインは、空間を重複のない長方形に再帰的に分割し、ランダムな高さとプリミティブタイプ（例：直方体、三角柱、楕円柱）を割り当てることで多様な建物形状を生成する。
• ステレオシミュレーションは、Gaussianノイズの追加、境界の摂動、平滑化を施すことにより、衛星ステレオ再構築アーチファクト（例：s2p）を模倣した現実的な高さマップを生成する。
• 合成データ上でトレーニングされた段階的インスタンスセグメンテーションネットワークにより、建物をセクションに分解し、一般化を向上させるためにランダム回転（0°〜45°）によるデータ拡張を実施する。
• 各セグメンテーションセクションは、剛体変換（回転、平行移動、スケーリング）を用いてCPD（Coherent Point Drift）を用いて3次元点群にプリミティブを適合させる。
• 最小のフィッティング誤差に基づいて最適なプリミティブが選択され、最終的な3Dモデルは正射影カラー画像を用いてテクスチャリングされる。
• 分解の連続性を向上させるために、セクション間の内部ギャップを埋める補正ステップが実施される。

実験結果

リサーチクエスチョン

• RQ1 実世界のアノテーションがなくても、合成データがディープラーニングモデルの3D建物分解に有効に機能するか？
• RQ2 インスタンスセグメンテーションとプリミティブフィッティングは、衛星由来のデジタル高さモデルから複雑な建物形状をどれほど正確に再構築できるか？
• RQ3 プリミティブベースモデリングは、幾何的複雑性をどれほど低減しつつ、再構築精度を保持できるか？
• RQ4 建物密度や構造が異なる多様な都市環境において、この手法はどの程度の性能を示すか？
• RQ5 分解とフィッティングにおける主な失敗モードは何か、そしてそれらをどのように緩和できるか？

主な発見

• AOI-1では2D完全性93.9%、2D正答率97.8%、2DJaccardインデックス92.0%を達成し、全4テストエリアで90%以上の性能を示した。
• 3DではAOI-1で完全性93.7%、正答率96.2%、Jaccardインデックス90.4%を達成し、優れた幾何的忠実度を示した。
• 平均して、密な三角形メッシュと比較して頂点数を99.9%、面数を99.9%まで削減し、建物1件あたり平均で994頂点、1,680面にまで低減した。
• 最高の性能はAOI-4（ジャクソンビル、フロリダ州）で観測され、2D完全性96.0%、3D完全性96.0%を達成し、低密度都市部でも堅牢であることを示した。
• ベースラインのメッシュベースモデル（AOI-4で平均700万以上の面を有）に比べ、本手法は高い再構築精度を維持しながらも、顕著に性能を上回った。
• スタックされた建物構造やボックス分解誤差に限界が見られたことから、階層的およびCSGベースのモデリングにおける改善の余地があると示唆された。