[論文レビュー] Deep Learning Guided Building Reconstruction from Satellite Imagery-derived Point Clouds

Bo Xu, Xu Zhang+4 more|arXiv (Cornell University)|May 19, 2020

Remote Sensing and LiDAR Applications参考文献 32被引用数 4

ひとこと要約

本論文は、ノイズが多い衛星由来の点群から、ロバストな3次元建物再構築を実現する、ディープラーニングを支援するエンドツーエンドのフレームワークを提示する。屋根形状のセグメンテーションにPointNetを用い、平面、円筒、球面のプリミティブを抽出するためのマルチキューヒエラルキカルRANSAC手法を採用し、4つの都市地域で空中LiDARの真値と比較して、屋根形状認識の正確性が83.0%、完全性と正確性が70%以上を達成した。

ABSTRACT

3D urban reconstruction of buildings from remotely sensed imagery has drawn significant attention during the past two decades. While aerial imagery and LiDAR provide higher resolution, satellite imagery is cheaper and more efficient to acquire for large scale need. However, the high, orbital altitude of satellite observation brings intrinsic challenges, like unpredictable atmospheric effect, multi view angles, significant radiometric differences due to the necessary multiple views, diverse land covers and urban structures in a scene, small base-height ratio or narrow field of view, all of which may degrade 3D reconstruction quality. To address these major challenges, we present a reliable and effective approach for building model reconstruction from the point clouds generated from multi-view satellite images. We utilize multiple types of primitive shapes to fit the input point cloud. Specifically, a deep-learning approach is adopted to distinguish the shape of building roofs in complex and yet noisy scenes. For points that belong to the same roof shape, a multi-cue, hierarchical RANSAC approach is proposed for efficient and reliable segmenting and reconstructing the building point cloud. Experimental results over four selected urban areas (0.34 to 2.04 sq km in size) demonstrate the proposed method can generate detailed roof structures under noisy data environments. The average successful rate for building shape recognition is 83.0%, while the overall completeness and correctness are over 70% with reference to ground truth created from airborne lidar. As the first effort to address the public need of large scale city model generation, the development is deployed as open source software.

研究の動機と目的

• マルチビュー衛星画像から生成される低品質でノイズの多い点群から、詳細な3次元建物モデルを再構築する課題に対処すること。
• 衛星由来の点群に適用された場合、高分解能の航空写真やLiDARデータを想定した従来の手法に見られる制限を克服すること。
• ディープラーニングと従来の幾何的セグメンテーション技術を統合することで、大規模で自動化された3次元都市モデリングを可能にすること。
• 多様な屋根形状、ノイズ、データの欠落を伴う複雑な都市環境において、再構築のロバスト性を向上させること。
• 衛星データからスケーラブルな都市モデリングを実現するため、公開可能でオープンソースのソフトウェアパイプラインを開発すること。

提案手法

• 手動ラベルの依存度を低減するために、新規のデータ合成手法を用いたPointNetベースのディープラーニングモデルを採用し、生の点群から直接屋根形状を分類する。
• セグメンテーションの前処理として、移動最小二乗法と中央値フィルタリングを適用し、衛星由来の点群の構造的ノイズを低減し、欠損部を埋める。
• 表面法線と画像カラーの両方の手がかりを活用することで、平面、円筒、球面の屋根プリミティブをロバストに検出するマルチキューヒエラルキカルRANSACアルゴリズムを実装する。
• 単純な形状を優先して処理を進める階層的RANSAC戦略を採用し、計算を高速化するとともに、セグメンテーションの信頼性を向上させる。
• 境界の正規化と屋根トポロジーモデルの再構築を実施し、セグメンテーションされたプリミティブから一貫性があり閉じた3次元建物モデルを生成する。
• パイプライン全体をエンドツーエンドで自動化されたシステムに統合し、Amazon Web Servicesなどのクラウドプラットフォームに展開可能である。

実験結果

リサーチクエスチョン

• RQ1 従来の手法が失敗するノイズが多く、複雑な衛星由来の点群において、ディープラーニングが複雑な屋根形状を効果的に分類できるか？
• RQ2 衛星点群に内在する高ノイズとデータの疎らさに強く対応できる幾何的セグメンテーション手法はどのように実現できるか？
• RQ3 標準のRANSACと比較して、マルチキューヒエラルキカルRANSACアプローチは、プリミティブ検出の正確性と効率性をどの程度向上できるか？
• RQ4 高分解能の航空写真やLiDARデータに依存せずに、本手法が大規模な高品質な3次元建物再構築を達成できるか？
• RQ5 エンドツーエンドのパイプラインの性能は、空中LiDARの真値と比較して、完全性、正確性、IoUの観点でどの程度の水準にあるか？

主な発見

• 本手法は、4つの都市地域のテストエリアで平均83.0%の屋根形状認識率を達成し、複雑なシーンにおいても優れた一般化性能を示した。
• 2つの大きなテストエリア（0.96および2.04 km²）では、再構築モデルの全体的な完全性と正確性が70%を超えた。空中LiDARの真値と比較して、3次元IoUスコアは70%～75%の範囲に収まった。
• 本手法は、球面や曲面形状を含む複雑な屋根形状を効果的に再構築でき、AOI 4では6つの球面屋根のうち4つが正確に捉えられた。
• セグメンテーションパイプラインに円筒および球面モデルが欠落している場合、亀裂や不完全な再構築が生じた。これは、プリミティブライブラリにおける形状の多様性の重要性を示している。
• マルチキューヒエラルキカルRANSACは、特にノイズの多い環境下で、標準のRANSACと比較してセグメンテーションの信頼性を大幅に向上させるとともに、計算時間を短縮した。
• パイプラインのオープンソース実装により、大規模な展開が可能となり、クラウドベースの都市モデリングサービスへの統合も可能になった。これにより、スケーラブルで自動化された3次元都市モデリングの目標を達成した。