[論文レビュー] Accurate Polygonal Mapping of Buildings in Satellite Imagery

Bowen Xu, Jiakun Xu+2 more|arXiv (Cornell University)|Aug 1, 2022

Remote-Sensing Image Classification被引用数 12

ひとこと要約

本稿では、頂点、線分（吸引力場を介して）、領域マスクの across 領域の階層的監視を導入することで、衛星画像における建物の正確な多角形マッピングを実現する新しい深層学習フレームワーク、HiSupを提案する。クロスレベル特徴相互作用を統合することでマスクの可逆性を保証し、AICrowdおよびInriaベンチマークにおいて、それぞれ78.8および88.2%のAPスコアとIoUを達成し、最先端の性能を実現した。

ABSTRACT

This paper studies the problem of polygonal mapping of buildings by tackling the issue of mask reversibility that leads to a notable performance gap between the predicted masks and polygons from the learning-based methods. We addressed such an issue by exploiting the hierarchical supervision (of bottom-level vertices, mid-level line segments and the high-level regional masks) and proposed a novel interaction mechanism of feature embedding sourced from different levels of supervision signals to obtain reversible building masks for polygonal mapping of buildings. As a result, we show that the learned reversible building masks take all the merits of the advances of deep convolutional neural networks for high-performing polygonal mapping of buildings. In the experiments, we evaluated our method on the two public benchmarks of AICrowd and Inria. On the AICrowd dataset, our proposed method obtains unanimous improvements on the metrics of AP, APboundary and PoLiS. For the Inria dataset, our proposed method also obtains very competitive results on the metrics of IoU and Accuracy. The models and source code are available at https://github.com/SarahwXU.

研究の動機と目的

• 衛星画像からの建物抽出において、予測マスクと正解ポリゴンの間の性能ギャップを解消すること。
• 学習されたマスクが正確にポリゴナルフォートプリントを再構成できないというマスクの可逆性の問題を克服すること。
• 頂点、線分、領域マスクの多段階幾何的監視を活用して、ポリゴナルマッピングの正確性を向上させること。
• 形状の正確性を保持しながらも、高い意味的理解を維持する統一された特徴埋め込みメカニズムを設計すること。
• マスク予測とポリゴナルアノテーションの乖離を最小限に抑えるエンド・ツー・エンド微分可能トレーニングを達成すること。

提案手法

• 下位レベルの接合点（頂点）、中位レベルの吸引力場（AFM）（線分を表す）、上位レベルの領域マスクの3段階の階層的監視を導入する。
• 異なる監視レベルの特徴を統合する新しいクロスレベル特徴相互作用メカニズムを提案し、形状に配慮した統一された埋め込みを生成する。
• 点レベルの接合点と領域レベルのマスクの間のブリッジとして領域吸引力場（AFM）を用い、幾何的整合性を実現する。
• マスク予測、接合点検出、AFM推定のマルチタスク監視を用いて、エンド・ツー・エンドでネットワークを訓練する。
• 最終的な可逆マスクに対してのみ、標準的な後処理（例：Douglas-Peucker）を適用して正確なポリゴンを生成する。
• UResNet101およびHRNetバックボーンを用いて、アーキテクチャ全体にわたる堅牢性とスケーラビリティを評価する。

実験結果

リサーチクエスチョン

• RQ1 頂点、線分、領域マスクの across 領域の階層的監視は、多角形マッピングのための予測マスクの可逆性を向上させることができるか？
• RQ2 提案されたクロスレベル特徴相互作用メカニズムは、マスク予測と正解ポリゴンの間の整合性をどのように向上させるか？
• RQ3 中位レベルの吸引力場監視は、エッジまたはフレームフィールド監視に比べて、建物多角形化においてどの程度優れているか？
• RQ4 多段階監視の統合は、AICrowdやInriaのような多様なベンチマークにおいて一貫した改善をもたらすか？
• RQ5 異なるバックボーンアーキテクチャ（例：UResNet101 対 HRNet）は、HiSupフレームワーク下で最終的な多角形化性能にどのように影響を与えるか？

主な発見

• AICrowdデータセットでは、HiSupは78.8%のAPを達成し、以前の最先端手法（Frame-Field）を5.1ポイント上回った。
• HiSupは境界APが66.3%に達し、Frame-Field手法（57.9%）を著しく上回り、PoLiSスコアを0.984から0.737に低下させた。
• アブレーションスタディにより、AFM埋め込みを用いたクロスレベル特徴相互作用が、ベースラインから1.5ポイント、AFMオンリーヘッドから0.5ポイントのAP向上を確認した。
• HRNetV2-W32をバックボーンとして使用した場合、APが76.2%、C-IoUが88.1%と最高の性能を示し、UResNet101およびHRNetV2-W18を上回った。
• 本手法は強力な一般化性能を示し、Inriaベンチマークでも88.2%のIoUと高い正確性を達成した。
• 体系的なアブレーションにより、AFM監視がマスク局所化および接合点検出において最も寄与しており、エッジおよびフレームフィールド監視を上回ることが確認された。