[論文レビュー] Building Extraction from Remote Sensing Images via an Uncertainty-Aware Network

Wei He, Jiepan Li+3 more|arXiv (Cornell University)|Jul 23, 2023

Automated Road and Building Extraction被引用数 10

ひとこと要約

本論文は UANet という不確実性を考慮したエンコーダ-デコーダ・フレームワークを提案し、高解像度のリモートセンシング画像からの建物抽出を行う。Prior Information Guide Module (PIGM) と Uncertainty-Aware Fusion Module (UAFM) を、不確実性ランクアルゴリズム (URA) によって導き、より低い不確実性を持つ予測へと改良する。

ABSTRACT

Building extraction aims to segment building pixels from remote sensing images and plays an essential role in many applications, such as city planning and urban dynamic monitoring. Over the past few years, deep learning methods with encoder-decoder architectures have achieved remarkable performance due to their powerful feature representation capability. Nevertheless, due to the varying scales and styles of buildings, conventional deep learning models always suffer from uncertain predictions and cannot accurately distinguish the complete footprints of the building from the complex distribution of ground objects, leading to a large degree of omission and commission. In this paper, we realize the importance of uncertain prediction and propose a novel and straightforward Uncertainty-Aware Network (UANet) to alleviate this problem. To verify the performance of our proposed UANet, we conduct extensive experiments on three public building datasets, including the WHU building dataset, the Massachusetts building dataset, and the Inria aerial image dataset. Results demonstrate that the proposed UANet outperforms other state-of-the-art algorithms by a large margin.

研究の動機と目的

• 高解像度RS画像からの建物抽出における不確実な予測を動機づけ、解決する。
• ピクセル毎の不確実性をランク付けし低減するエンドツーエンドの不確実性を考慮したネットワーク(UANet)を提案する。
• Prior information guide module (PIGM) を開発し、 prior 抽出マップを用いて高レベル特徴を強化する。
• 不確実性を考慮した融合モジュール(UAFM)と不確実性ランクアルゴリズム(URA)を導入し、特徴をレベルごとに refined して低不確実性の最終マップを生成する。
• 3つの公開データセットを横断して性能を検証し、最先端手法と比較する。

提案手法

• 従来のエンコーダ-デコーダ Backbone を用いて初期の不確実抽出マップを取得する。
• Prior Information Guide Module (PIGM) をクロスアテンションで設計し、初期マップを用いて最上位特徴の空間・チャネル指向をガイドする。
• 前景と背景の不確実性を定量化しランク付けするためのURAを導入する。
• 高レベルと低レベル特徴を、不確実性ガイド付きの重み付けで粗から細へ統合するUncertainty-Aware Fusion Module (UAFM) を開発する。
• 最終の低不確実性抽出マップを最適化するため、複数の中間不確実性マップ(M1–M5)を監督する単一の BCE ロスで訓練する。

Figure 2: The structure of the Uncertainty-Aware Network, which is composed of a general encoder-decoder, a prior information guide module (PIGM), and an uncertainty-aware fusion module (UAFM).

実験結果

リサーチクエスチョン

• RQ1 多様なスケールと背景を持つリモートセンシング画像において、不確実性を考慮したモデリングは建物境界の抽出を改善するか。
• RQ2 Prior 抽出マップをクロスアテンション的に用いて高レベル特徴の洗練を効果的に導くにはどうすればよいか。
• RQ3 URA を導入して前景/背景の不確実性をランク付けすることは、デコードと最終マップの確実性を改善するか。
• RQ4 UANet は WHU、Massachusetts、Inria の建物データセットで最先端手法と比べてどう性能が出るか。

主な発見

Baseline	Year	WHU IoU	WHU F1	WHU Pre	WHU Recall	Massachusetts IoU	Massachusetts F1	Massachusetts Pre	Massachusetts Recall	Inria IoU	Inria F1	Inria Pre	Inria Recall
UNet	#	85.92	92.39	91.78	93.01	68.48	81.47	80.99	81.96	74.40	85.32	86.39	84.28
HRNet	#	85.64	92.27	91.69	92.85	69.39	81.93	81.49	82.38	75.03	85.73	86.56	84.92
MA-FCN	#	90.70	95.15	95.20	95.10	73.80	84.93	87.07	82.89	79.67	88.68	89.82	87.58
DSNet	#	89.54	94.48	94.05	94.91	75.04	85.74	87.56	83.99	81.02	89.52	90.32	88.73
CBRNet	#	91.40	95.51	95.31	95.70	74.55	85.42	86.50	84.36	81.10	89.56	89.93	89.20
MSNet	#	89.07	93.96	94.83	93.12	-	-	-	-	-	-	-	-
BOMSNet	#	90.15	94.80	95.14	94.50	74.71	85.13	86.64	83.68	78.18	87.75	87.93	87.58
LCS	#	90.71	95.12	95.38	94.86	-	-	-	-	-	-	-	-
BuildFormer	#	90.73	95.14	95.15	95.14	75.03	85.73	86.69	84.79	81.24	89.71	90.65	88.78
BCTNet	#	91.15	95.37	95.47	95.27	-	-	-	-	-	-	-	-
FD-Net	#	91.14	95.36	95.27	95.46	-	-	-	-	-	-	-	-
Ours-UANet	-	92.15	95.91	95.96	95.86	76.41	86.63	87.94	85.35	83.08	90.76	92.04	89.52

• UANet は 3 つの公開データセットで最先端の性能を達成し、WHU、Massachusetts、Inria のデータセットにおいて IoU、F1、Precision、Recall で従来法を上回る。
• PIGM の導入とクロスアテンションベースの空間/チャネル指向が高レベル特徴学習と最終セマンティックセグメンテーションの精度を向上させる。
• URA によりレベル毎の不確実性を考慮した refined が可能となり、最終抽出マップの不確実性を低減し境界をシャープにする。
• BuildFormer などのベースラインと比較して IoU の顕著な改善（例: Inria で IoU が最大 1.84 ポイント向上）と建物境界の質的な改善を示す。

Figure 3: The structure of the Prior Information Guide Module (PIGM).