[論文レビュー] Building Floorspace in China: A Dataset and Learning Pipeline

Peter Egger, Susie Xi Rao+1 more|arXiv (Cornell University)|Mar 3, 2023

Impact of Light on Environment and Health被引用数 5

ひとこと要約

本論文は、40の主要中国都市におけるSentinel-1およびSentinel-2衛星画像を用いて、建物の敷地および高さを推定する新規なマルチタスクディープラーニングパイプラインを提案する。この手法は、地面の真値データにほとんど依存せず、高水準の横断的および縦断的カバレッジを達成する。建物の床面積と建物形状を同時に予測する方法であり、スケーラブルな都市分析を可能にするとともに、都市開発動向の妥当性を検証するため、夜間光データと相関をとる。

ABSTRACT

This paper provides a first milestone in measuring the floorspace of buildings (that is, building footprint and height) for 40 major Chinese cities. The intent is to maximize city coverage and, eventually provide longitudinal data. Doing so requires building on imagery that is of a medium-fine-grained granularity, as larger cross sections of cities and longer time series for them are only available in such format. We use a multi-task object segmenter approach to learn the building footprint and height in the same framework in parallel: (1) we determine the surface area is covered by any buildings (the square footage of occupied land); (2) we determine floorspace from multi-image representations of buildings from various angles to determine the height of buildings. We use Sentinel-1 and -2 satellite images as our main data source. The benefits of these data are their large cross-sectional and longitudinal scope plus their unrestricted accessibility. We provide a detailed description of our data, algorithms, and evaluations. In addition, we analyze the quality of reference data and their role for measuring the building floorspace with minimal error. We conduct extensive quantitative and qualitative analyses with Shenzhen as a case study using our multi-task learner. Finally, we conduct correlation studies between our results (on both pixel and aggregated urban area levels) and nightlight data to gauge the merits of our approach in studying urban development. Our data and codebase are publicly accessible under https://gitlab.ethz.ch/raox/urban-satellite-public-v2.

研究の動機と目的

• 中国の多数の都市において、建物の床面積（敷地および高さ）をスケーラブルかつオープンソースで測定するための手法を開発すること。
• 特に急速に都市化が進む地域である中国を含む発展途上経済における、高品質で標準化され、縦断的な都市データの不足を克服すること。
• 都市集積やインfra構築の縦断的分析を可能にするデータセットおよび学習パイプラインを構築すること。
• 参照データおよび夜間光データを用いたピクセル単位および集計された都市領域レベルの比較を通じて、モデルの正確性と頑健性を評価すること。
• 将来的に、Planet画像などの高解像度データソースおよび3次元再構築から得られる改善済みの参照データとの統合の基盤を築くこと。

提案手法

• マルチタスクオブジェクトセグメンテーションフレームワークを用いて、マルチスペクトルおよびレーダー衛星画像から同時に建物の敷地および高さを予測する。
• 中～高解像度の空間的・時間的カバレッジ（2015–2022年）を実現するため、Sentinel-1（CバンドSAR）およびSentinel-2（光学）衛星データを活用する。
• 参照データと自己教師信号の組み合わせで訓練されたディープラーニングモデルを用い、建物の形状および床面積を推定する。
• タスク固有の数値スケールに基づいて、敷地および高さ予測の損失関数のバランスをとるためにグリッドサーチを適用する。
• モデルの性能評価および都市開発動向の分析のため、VIIRSセンサーからの夜間光データを外部の妥当性指標として統合する。
• 統合されたPlanet衛星画像および事前学習済みモデルを活用し、Amap 3D再構築データを用いて参照品質を向上させる計画で、パイプラインの拡張を予定している。

実験結果

リサーチクエスチョン

• RQ1 中解像度の衛星画像を用いて、中国の多数の都市でスケーラブルに建物の敷地および高さを予測できるマルチタスクディープラーニングモデルは、正確に動作するか？
• RQ2 予測された床面積は、夜間光強度といった既存の都市開発指標とどの程度相関するか？
• RQ3 データ品質および参照データの可用性が、建物レベルの予測精度に与える影響は何か？
• RQ4 建物カバレッジ比のような集計された都市レベルの指標を用いて、モデルの予測をどの程度検証できるか？
• RQ5 パイプラインは、複数の時間点における縦断的分析をサポートし、多様な衛星データソースを統合するために、どのように拡張可能か？

主な発見

• 従来の機械学習モデルと比較して、マルチタスク学習モデルは建物の敷地および高さ予測精度において顕著な向上を示し、それぞれR²で0.11–0.49および0.27–0.63の向上を達成した。
• 予測された床面積は、ピクセルレベルおよび集計された都市領域レベルの両方で夜間光データと強い相関を示し、モデルが都市開発ダイナミクスを的確に捉えていることを裏付けた。
• モデルの性能は集計レベルでも頑健であり、異なる都市単位および時間帯において一貫した予測を示した。
• Sentinel-1およびSentinel-2データの使用により、2015年から2022年までの40の主要中国都市にわたり、一貫した大規模カバレッジを実現した。
• パイプラインは拡張性を考慮して設計されており、Planet衛星画像およびAmap 3D再構築データの統合を計画しており、解像度の向上とアノテーションの必要性低減を図る。
• GitLab経由でのコードベースおよびデータセットのオープンソース公開により、再現性が確保され、2009年から2022年までの中国全土への将来的な拡張が可能になった。