[論文レビュー] High-Resolution Building and Road Detection from Sentinel-2

Wojciech Sirko, Emmanuel Asiedu Brempong+10 more|arXiv (Cornell University)|Oct 17, 2023

Automated Road and Building Extraction被引用数 14

ひとこと要約

この論文は、10 m 分解能の Sentinel-2 画像のスタックを模倣し高解像度の教師モデルを用いて50 cmの建物/道路セマンティックマスクを予測する student モデルを訓練し、建物の mIoU は 78.3%（教師は 85.3%）で、建物カウントは R2=0.91 を達成した。

ABSTRACT

Mapping buildings and roads automatically with remote sensing typically requires high-resolution imagery, which is expensive to obtain and often sparsely available. In this work we demonstrate how multiple 10 m resolution Sentinel-2 images can be used to generate 50 cm resolution building and road segmentation masks. This is done by training a `student' model with access to Sentinel-2 images to reproduce the predictions of a `teacher' model which has access to corresponding high-resolution imagery. While the predictions do not have all the fine detail of the teacher model, we find that we are able to retain much of the performance: for building segmentation we achieve 79.0\% mIoU, compared to the high-resolution teacher model accuracy of 85.5\% mIoU. We also describe two related methods that work on Sentinel-2 imagery: one for counting individual buildings which achieves $R^2 = 0.91$ against true counts and one for predicting building height with 1.5 meter mean absolute error. This work opens up new possibilities for using freely available Sentinel-2 imagery for a range of tasks that previously could only be done with high-resolution satellite imagery.

研究の動機と目的

• accessible で大規模な建物・道路のマッピングを、コストの高い高解像度イメージに依存せず実現することを Motivate する。
• 低解像度の Sentinel-2 スタックから高解像度の予測を再現するエンドツーエンドのフレームワークを開発する。
• 50 cm イメージで訓練された教師モデルを活用して、 Sentinel-2 入力を用いる student モデルを監督する。
• パッチ内の中心点予測による建物のカウントを可能にし、カウントの近似を図る。
• Open Buildings データセットの開発に寄与するため、Sentinel-2 ベースの分析能力を拡張する。

提案手法

• 教師モデルが 50 cm イメージで動作し、 student が 10 m 秒解像度の Sentinel-2 フレームのスタックを受け取って高解像度のセマンティックマスクを予測する教師−学生設定を用いる。
• HRNet をベースとした encoder–decoder アーキテクチャを用い、LR 入力のために最初のブロックを適応させ高い空間解像度を保持する。
• 32 フレームの Sentinel-2 からの時系列情報を、翻訳検索によるラベルの整列を含む residual 構成のクロスタイム深度方向畳み込みで融合し、時系列の手がかりを捉える。
• 建物セグメンテーション、道路セグメンテーション、建物中心点（カウント用）、登録を補助する超解像グレースケール画像の出力を行うマルチタスクモデルを訓練する。
• ピクセル単位の Kullback–Leibler Divergence 損失を、ラベルをモデル出力へ翻訳探索で整列させる整列ステップとともに使用する。50 cm のターゲットに到達するためのアップサンプリングベースのデコーダを含む。
• 中心点チャンネルの出力を総和してタイルごとのカウントを導出し、カウントをスケーリングして正確なカウントを促進する。

Figure 1: Example operation of our model, where multiple frames of low-resolution Sentinel-2 imagery are used to make a single frame of high-resolution predictions for a variety of output types. A high-resolution image of the same scene is shown for comparison.

実験結果

リサーチクエスチョン

• RQ1 Sentinel-2 のスタック（10 m 解像度）を用いて、50 cm の建物と道路のセマンティックマスクを予測できるか？
• RQ2 Sentinel-2 ベースの予測は、mIoU と空間的な詳細において高解像度の教師モデルにどれだけ近づくことができるか？
• RQ3 Sentinel-2 の予測から建物のカウントは実現可能か、真のカウントとどう比較されるか？
• RQ4 時系列フレーミングとペアリング戦略が下流のセグメンテーション性能に与える影響は何か？
• RQ5 入力/出力/ラベルの解像度は性能にどのように影響し、Sentinel-2 に基づくカウントはスケールを超えてどう動作するか？

主な発見

• Sentinel-2 の監督下での建物セグメンテーションは 78.3% の mIoU を達成する一方、高解像度教師の mIoU は 85.3% である。
• 建物カウント課題は真のカウントに対して R2 = 0.91 を達成し、教師ベースラインの R2 = 0.95 にほぼ近い。
• 4 m 入力解像度を使用すると、4 m データで訓練された単一フレームの高解像度モデルと同等の性能を発揮し、最良の Sentinel-2 ベースモデルは 50 cm 出力を有意な精度で達成する。
• 時系列が増えるほど性能が向上し、32 フレームのスタックは建物の mIoU において単一フレーム設定を約5ポイント上回る。
• 各フレームの時点を教師ラベルに最も近い第17フレームとペアリングすることは、ペアリングなしより大幅な向上をもたらす；クロス時系列の融合は結果をさらに高める。
• 訓練データを 1% から 100% に増やすと、建物の mIoU が 69.1 から 76.6 に改善される（32 フレームの場合）。

Figure 2: Examples of building and road detection from Sentinel-2 imagery, each covering an area of $192^{2}$ m 2 . The panels on the left show high-resolution satellite imagery of the scene for comparison; although Sentinel-2 imagery has much lower level of detail in each frame, we are able to pred