[論文レビュー] CG-Net: Conditional GIS-aware Network for Individual Building Segmentation in VHR SAR Images

Yao Sun, Yuansheng Hua+2 more|arXiv (Cornell University)|Nov 17, 2020

Automated Road and Building Extraction参考文献 72被引用数 45

ひとこと要約

本稿では、GISデータから得られる建物の敷地図を活用して、超高解像度（VHR）SAR画像における個々の建物セグメンテーションを向上させる、条件付きGIS認識深層学習フレームワークであるCG-Netを提案する。GIS由来の敷地図を特徴正規化の条件として用いることで、ベルリンのTerraSAR-X画像において75.08%のF1スコアを達成し、最先端の性能を発揮した。また、GISの位置ずれ誤差に対しても頑健であり、SARデータからの3次元LoD1建物モデル再構築を可能にした。

ABSTRACT

Object retrieval and reconstruction from very high resolution (VHR) synthetic aperture radar (SAR) images are of great importance for urban SAR applications, yet highly challenging owing to the complexity of SAR data. This paper addresses the issue of individual building segmentation from a single VHR SAR image in large-scale urban areas. To achieve this, we introduce building footprints from GIS data as complementary information and propose a novel conditional GIS-aware network (CG-Net). The proposed model learns multi-level visual features and employs building footprints to normalize the features for predicting building masks in the SAR image. We validate our method using a high resolution spotlight TerraSAR-X image collected over Berlin. Experimental results show that the proposed CG-Net effectively brings improvements with variant backbones. We further compare two representations of building footprints, namely complete building footprints and sensor-visible footprint segments, for our task, and conclude that the use of the former leads to better segmentation results. Moreover, we investigate the impact of inaccurate GIS data on our CG-Net, and this study shows that CG-Net is robust against positioning errors in GIS data. In addition, we propose an approach of ground truth generation of buildings from an accurate digital elevation model (DEM), which can be used to generate large-scale SAR image datasets. The segmentation results can be applied to reconstruct 3D building models at level-of-detail (LoD) 1, which is demonstrated in our experiments.

研究の動機と目的

• レイオーバーとシャドーイングによって深刻な重複と曖昧さを引き起こす大規模なVHR SAR画像における個々の建物セグメンテーションの課題に対処すること。
• 補完的なGIS建物敷地図データを条件付きの監視情報として統合することで、セグメンテーションの精度を向上させること。
• 完全な敷地図とセンサーに見える断片的領域の2種類のGIS敷地図表現が、セグメンテーション性能に与える影響を評価すること。
• オープンソースGISデータに一般的に見られる位置ずれ誤差のような現実的なGISデータの不正確さに対して、本手法の頑健性を評価すること。
• セグメンテーション結果がSARデータからの3次元LoD1建物モデル再構築にどのように有効に利用できるかを実証すること。

提案手法

• CG-Netは、GIS由来の建物敷地図を用いて特徴学習をガイドする条件付き特徴正規化モジュールを採用し、U-Netスタイルのエンコーダ・デコーダネットワークを構築する。
• 深層畳み込みニューラルネットワーク（例：DeepLabv3+）の多段階の視覚的特徴と、空間的に整合されたGIS敷地図データを融合させ、セグメンテーションマスクを精緻化する。
• 高解像度DEMデータを用いて自動的に正確な建物マスクを生成する、新しいグランドトゥース生成パイプラインを提案し、大規模なSARデータセット作成を可能にする。
• SARパッチと対応するGIS敷地図を用いて学習を実施し、IoUとF1スコアを最適化する損失関数を採用する。
• 完全な建物敷地図と部分的でセンサーに見える敷地図断片の両方を入力としてサポートしており、データの可用性に柔軟に対応できる。
• 3次元LoD1モデルは、スラントレンジ方向におけるレイオーバー長さから建物高さを推定する式 h = l / cosθ を用いて再構築する。

実験結果

リサーチクエスチョン

• RQ1 純粋にデータ駆動の手法と比較して、GIS由来の建物敷地図は、VHR SAR画像における個々の建物セグメンテーションを顕著に改善できるか？
• RQ2 完全な敷地図とセンサーに見える断片的領域の2種類のGIS敷地図表現のうち、どちらがより優れたセグメンテーション性能をもたらすか？
• RQ3 OpenStreetMapのようなオープンソースGISデータに一般的に見られる位置ずれ誤差に対して、提案されたCG-Netはどれほど頑健か？
• RQ4 セグメンテーションの結果は、SARデータからの3次元建物モデル再構築（LoD1）に効果的に利用できるか？
• RQ5 SAR由来のレイオーバー領域から、建物高さ推定の達成可能な精度はどの程度か？

主な発見

• CG-NetはベルリンのTerraSAR-Xデータセットにおいて、最先端のF1スコア75.08%を達成し、ベースラインモデルを上回った。
• 完全な建物敷地図を入力とすると、部分的でセンサーに見える敷地図断片のみを用いる場合に比べ、顕著に優れたセグメンテーション結果が得られ、IoUで4.5%の向上が確認された。
• GISの位置ずれ誤差に対してもモデルは頑健であり、敷地図に最大10mの誤差が含まれても、F1スコアが3.62%低下するにとどまり、高い性能を維持した。
• 高解像度DEMからのグランドトゥースと比較して、LoD1再構築における平均建物高さ誤差は2.39メートルであった。
• DEMを用いたグランドトゥース生成手法により、大規模なSAR画像に対するスケーラブルで正確なアノテーションが、深層学習モデルの学習に可能になった。
• 可視化結果から、SARに明確に現れる大きなレイオーバー領域を持つ建物は高層と正しく同定されており、小さなレイオーバー領域を持つ建物は低層として再構築されており、実世界の幾何学的形状と一致した。