[論文レビュー] Machine-learned 3D Building Vectorization from Satellite Imagery

Yi Wang, Stefano Zorzi+1 more|arXiv (Cornell University)|Apr 13, 2021

Remote Sensing and LiDAR Applications参考文献 33被引用数 6

ひとこと要約

本論文は、単一チャネルのアーチファクトが含まれるドメトリックDSMとパナクロマティック衛星画像から、自動3次元建物ベクタライゼーションを実現する機械学習パイプラインを提案する。DSMの精錬に条件付きGANにCBAMモジュールを組み合わせ、共有アーキテクチャのセマンティックセグメンテーションネットワークでエッジおよびコーナー検出を実施し、新規のベクタライゼーションパイプラインにより、正確な高さ統合を実現したLoD-2建物モデルを生成。大規模衛星データにおいて最先端の性能を達成した。

ABSTRACT

We propose a machine learning based approach for automatic 3D building reconstruction and vectorization. Taking a single-channel photogrammetric digital surface model (DSM) and panchromatic (PAN) image as input, we first filter out non-building objects and refine the building shapes of input DSM with a conditional generative adversarial network (cGAN). The refined DSM and the input PAN image are then used through a semantic segmentation network to detect edges and corners of building roofs. Later, a set of vectorization algorithms are proposed to build roof polygons. Finally, the height information from the refined DSM is added to the polygons to obtain a fully vectorized level of detail (LoD)-2 building model. We verify the effectiveness of our method on large-scale satellite images, where we obtain state-of-the-art performance.

研究の動機と目的

• 大規模衛星画像から正確で完全な3次元建物モデル（LoD-2）を再構築する課題に対処すること。
• 深層学習を用いて非建物オブジェクトをフィルタリングし、建物形状を精錬することで、測量的DSMの品質を向上させること。
• エッジおよびコーナーを検出することで、建物屋根の自動ベクタライゼーションを可能にすること。
• 精錬されたDSMの高さ情報をベクタライズド2次元ポリゴンに統合し、完全な3次元建物モデルを生成すること。
• LiDARや複雑なマルチセンサーフュージョンに依存せずに、DSMとPAN画像入力のみで、3次元建物再構築において最先端の性能を達成すること。

提案手法

• 非建物オブジェクトを除去し、建物形状の正確性を向上させるために、CBAMアテンションモジュールを備えた条件付き生成的対抗ネットワーク（cGAN）を用いて入力の測量的DSMを精錬する。
• cGANジェネレータからの特徴を活用し、共有アーキテクチャのセマンティックセグメンテーションネットワークが精錬済DSMおよびPAN画像上でエッジおよびコーナーを検出する。
• 冗長性を低減し、局所化の正確性を向上させるために、非最大抑制（NMS）を適用して信頼度の高いコーナー点を選択する。
• バッファ接続性としきい値処理を用いて、検出されたエッジを連続する線分にグループ化し、耐障害性のあるポリゴナイゼーションを実現する。
• ベクタライゼーションパイプラインが検出されたエッジおよびコーナーから屋根ポリゴンを構築し、精錬済DSMからの高さ値を補間して3次元LoD-2モデルを形成する。
• 最終的な3次元モデルは、各ポリゴン面に精錬済DSMからの高さ値を割り当てることで生成され、幾何学的整合性およびトポロジカル正しさが保証される。

実験結果

リサーチクエスチョン

• RQ1 CBAMアテンションを備えた深層学習ベースのcGANは、建物再構築のための測量的DSM品質を向上させることができるか？
• RQ2 共有アーキテクチャのセマンティックセグメンテーションネットワークは、精錬済DSMおよびPAN画像入力から屋根エッジおよびコーナーをどれほど効果的に検出できるか？
• RQ3 新規のベクタライゼーションパイプラインは、検出されたエッジおよびコーナーから正確に3次元建物屋根ポリゴンを再構築できるか？
• RQ4 精錬済DSMの高さデータをベクタライズド2次元ポリゴンに統合することで、最終的な3次元LoD-2モデルの正確性にどのような影響を与えるか？
• RQ5 幾何学的正確性および完全性の観点から、本手法は既存のハイブリッドおよびデータ駆動型手法と比較して、どの程度の性能を示すか？

主な発見

• 提案されたCBAMアテンションモジュールを備えたcGANは、DSMのノイズを低減し、建物形状の精錬を向上させ、ミュンヘンテスト領域においてリッジ高さで平均絶対高さ差（|ΔH|）が0.74 m、イーブ高さで0.99 mを達成した。
• エッジおよびコーナー検出ネットワークは高い正確性を示し、地面真値と比較して平均平面方位誤差が10°未満に抑えられ、生の測量的DSMを著しく上回った。
• ベクタライゼーションパイプラインは、ベルリンテスト領域でリCALLスコア0.81を達成し、一部の欠落成分が存在するにもかかわらず、強固な再構築を示した。
• 本手法は大規模衛星画像において最先端の性能を達成し、Partoviら[24]のような先行ハイブリッド手法を、高さ正確性およびモデル完全性の観点で上回った。
• 高さ予測の全体的なRMSEはリッジで0.74 m、イーブで1.54 mであり、NMAD値はそれぞれ0.59および0.68であった。これは、参照データからの強い一貫性および低い分散を示している。
• 改善が見られたものの、本手法は依然としてモデル再構築が不完全であり、精錬済DSMのリCALL（0.88）からベクタライズドモデルのリCALL（0.81）に低下しており、すべての建物部材を捉える課題が残っている。