[論文レビュー] A Novel Adaptive Deep Network for Building Footprint Segmentation

Amir Ziaee, Raziyeh Dehbozorgi+1 more|arXiv (Cornell University)|Feb 27, 2021

Advanced Neural Network Applications参考文献 21被引用数 6

ひとこと要約

本稿では、Pix2Pixをベースにした新規の2ジェネレータ条件付きGAN、G2Gを提案する。高解像度衛星画像における建物の足場抽出の精度、特に境界の正確性を向上させるために開発された。2つのジェネレータが局所化特徴とエッジに敏感な特徴を統合することで、G2Gは最先端の性能を達成し、Pix2Pix や既存手法に比べて平均IoUで最大18%、ピクセル精度で10%以上優れている。

ABSTRACT

Building footprint segmentations for high resolution images are increasingly demanded for many remote sensing applications. By the emerging deep learning approaches, segmentation networks have made significant advances in the semantic segmentation of objects. However, these advances and the increased access to satellite images require the generation of accurate object boundaries in satellite images. In the current paper, we propose a novel network-based on Pix2Pix methodology to solve the problem of inaccurate boundaries obtained by converting satellite images into maps using segmentation networks in order to segment building footprints. To define the new network named G2G, our framework includes two generators where the first generator extracts localization features in order to merge them with the boundary features extracted from the second generator to segment all detailed building edges. Moreover, different strategies are implemented to enhance the quality of the proposed networks' results, implying that the proposed network outperforms state-of-the-art networks in segmentation accuracy with a large margin for all evaluation metrics. The implementation is available at https://github.com/A2Amir/A-Novel-Adaptive-Deep-Network-for-Building-Footprint-Segmentation.

研究の動機と目的

• 高解像度衛星画像からのディープラーニングベースの建物の足場抽出において、境界の不正確さという長年の課題に取り組む。
• 標準的なセマンティックセグメンテーションネットワークで失われる細粒度のエッジや局所化の詳細を保持することで、セグメンテーションの正確性を向上させる。
• 条件付きGANを活用して、構造的整合性の高い高精細なマップを衛星画像から生成する、新しいネットワークアーキテクチャの開発。
• 1つのジェネレータアーキテクチャに比べ、2つのジェネレータ設計が境界の保持とセグメンテーションの正確性において優れていることを実証する。
• ハイパーパramータチューニングに偏りがないよう、標準化されたベンチマーク上で複数の評価指標を用いて検証し、堅牢性と一般化性能を確保する。

提案手法

• Pix2Pixをインspiredにした2ジェネレータ条件付きGANフレームワーク（G2G）を提案。ジェネレータ1は局所化特徴を抽出し、ジェネレータ2は境界の精錬に特化する。
• 生成結果の現実性と正確性を保証するため、敵対的損失とL1再構成損失を用いて2つのジェネレータを同時に学習する。
• 局所化特徴とエッジに敏感な特徴の間で特徴統合を実施し、予測の空間的詳細と境界のシャープネスを向上させる。
• 性能を包括的に評価するため、4つの評価指標（ピクセル精度（PA）、平均精度（MA）、平均IoU（MIoU）、頻度加重IoU（FWIoU））を適用する。
• 2番目のジェネレータをリファインメントモジュールとして機能させる後処理戦略を採用し、最初のジェネレータの出力を改善し、正解に近い外観を再現する。
• 公平な比較のため、ハイパーパramータチューニングのバイアスが評価に影響しないよう、推奨されるハイパーパramータを用いたPix2Pixのトレーニングパイプラインを活用する。

実験結果

リサーチクエスチョン

• RQ1 条件付きGANフレームワークにおける2ジェネレータアーキテクチャは、1ジェネレータモデルに比べて、建物の足場抽出の正確性を顕著に向上させることができるか？
• RQ2 提案されたG2Gネットワークは、高解像度衛星画像において、細粒度の境界と構造的詳細をどの程度保持できるか？
• RQ3 ハイパーパramータチューニングなしで、G2GネットワークはSOTA手法と比較してIoU、ピクセル精度、その他の標準的セグメンテーション指標においてどのように性能を発揮するか？
• RQ4 局所化とエッジ特化型特徴学習の統合は、セグメンテーション品質の向上に顕著な効果をもたらすか？
• RQ5 2番目のジェネレータは、セグメンテーション出力をリファインし、境界の不正確さを低減する有効な後処理モジュールとして機能できるか？

主な発見

• G2Gは平均ピクセル精度96%を達成し、Pix2Pix（89%）を著しく上回り、最も性能の良いマルチタスク手法（95%）と同等の性能を示したが、他の指標でそれを上回った。
• G2Gの平均IoUは83%に達し、Pix2Pix（65%）に比べ18ポイント、マルチタスク学習手法（70%）に比べ13ポイントの向上を示した。
• G2Gは頻度加重IoU90%を達成し、特にクラス不均衡データセットの処理においても堅牢な性能を示した。
• 2番目のジェネレータは効果的な後処理モジュールとして機能し、最初のジェネレータの出力をリファインして、境界の正確性が正解に近い予測を生成した。
• アブレーションスタディにより、2ジェネレータ設計が1ジェネレータの代替案よりも優れていることが確認され、アーキテクチャ的革新の有効性が裏付けられた。
• 4つの評価指標すべてにおいて、G2GはPix2Pixおよび最近のマルチタスク学習手法を一貫して上回り、ハイパーパラメータ最適化なしに優位性を示した。