[論文レビュー] PolyBuilding: Polygon Transformer for End-to-End Building Extraction

Yuan Hu, Zhibin Wang+2 more|arXiv (Cornell University)|Nov 3, 2022

Automated Road and Building Extraction被引用数 4

ひとこと要約

PolyBuilding は、可変型 Transformer エンコーダデコーダアーキテクチャを用いて、リモートセンシング画像から直接ベクトル化された建物ポリゴンを予測する完全なエンド・ツー・エンドのポリゴン Transformer モデルである。このモデルは、同時にポリゴン座標を回帰し、コーナー頂点を分類する。冗長性を低減するために 1 次元の非最大抑制（NMS）を適用し、CrowdAI データセットにおいて画素レベルのカバレッジ、インスタンスレベルの精度・再現率、幾何的規則性の面で最先端の性能を達成した。

ABSTRACT

We present PolyBuilding, a fully end-to-end polygon Transformer for building extraction. PolyBuilding direct predicts vector representation of buildings from remote sensing images. It builds upon an encoder-decoder transformer architecture and simultaneously outputs building bounding boxes and polygons. Given a set of polygon queries, the model learns the relations among them and encodes context information from the image to predict the final set of building polygons with fixed vertex numbers. Corner classification is performed to distinguish the building corners from the sampled points, which can be used to remove redundant vertices along the building walls during inference. A 1-d non-maximum suppression (NMS) is further applied to reduce vertex redundancy near the building corners. With the refinement operations, polygons with regular shapes and low complexity can be effectively obtained. Comprehensive experiments are conducted on the CrowdAI dataset. Quantitative and qualitative results show that our approach outperforms prior polygonal building extraction methods by a large margin. It also achieves a new state-of-the-art in terms of pixel-level coverage, instance-level precision and recall, and geometry-level properties (including contour regularity and polygon complexity).

研究の動機と目的

• 複雑な後処理パイプラインを回避するため、リモートセンシング画像から直接ベクトル化された建物ポリゴンを予測する完全なエンド・ツー・エンドの手法の開発。
• 鋭いコーナー、直線の辺、および低い頂点の重複度を確保することで、予測された建物の幾何的品質の向上。
• スレッディングベースの手法（塊状の形状）やマルチステージの検出＋回帰手法（柔軟性に欠け、誤差が蓄積されやすい）の限界を克服すること。
• 固定頂点数でのサンプリングと学習可能なクエリを用いて、複数の建物インスタンス間で入力と出力の表現を統一すること。
• Transformer の自己注意メカニズムを活用することで、GPU での効率的かつ並列化可能な学習と推論を実現すること。

提案手法

• Deformable DETR を拡張し、建物ポリゴンの頂点座標シーケンスを予測するポリゴン回帰ヘッドを導入。
• 各予測頂点の信頼度スコアを出力するコーナー分類ヘッドを導入し、真のコーナーを特定。
• すべてのインスタンスに対して固定頂点数に統一するための均一なサンプリング符号化方式を採用。
• 位置学習とコーナー分類の分離を図る二段階の訓練戦略を採用し、収束性の向上を図る。
• コーナーのスコアに対して 1 次元の非最大抑制を適用し、冗長な頂点をフィルタリングし、ポリゴン幾何の精緻化を実現。
• マッチングの代理としてバウンディングボックスを用いて、正解と予測インスタンス間のバイナリマッチングを実施。

実験結果

リサーチクエスチョン

• RQ1 完全なエンド・ツー・エンドの Transformer ベースのモデルは、リモートセンシング画像から正確で、規則的かつ低複雑性の建物ポリゴンを直接予測できるか？
• RQ2 ポリゴン座標の同時回帰とコーナー分類により、スレッディングベースやマルチステージ手法と比較して、幾何的忠実度がどの程度向上するか？
• RQ3 1 次元の非最大抑制は、コーナーの正確性を損なわず、どの程度頂点の重複度を低減できるか？
• RQ4 固定頂点数での均一なサンプリングと学習可能なクエリの使用は、多様な建物の形状やサイズにわたる効果的な一般化を可能にするか？
• RQ5 後処理パイプラインに依存せず、インスタンスレベルの検出性能と幾何的規則性の両面で優れた性能を達成できるか？

主な発見

• PolyBuilding は、CrowdAI データセットにおいて、画素レベルのカバレッジ、インスタンスレベルの精度・再現率、および輪郭の規則性やポリゴンの複雑さといった幾何的性質において、新たな最先端の性能を達成した。
• 定量的指標と定性的な視覚的品質の両面で、先行するスレッディングベースおよびマルチステージのポリゴン抽出手法を著しく上回った。
• ポリゴン回帰とコーナー分類の組み合わせにより、鋭いコーナーと最小限の頂点重複度を持つポリゴンの生成が可能になった。
• 1 次元の非最大抑制は、コーナー付近の冗長な頂点を効果的に低減したが、形状の正確性を損なわなかった。
• 失敗事例の主な原因は、頂点の局所化の不正確さや、短い辺における NMS フィルタリングによる影響であり、幾何的正則化損失関数の導入によりさらなる改善が期待できる。
• モデルは強力な一般化能力とロバストネスを示しており、明示的な交差禁止制約がなくても、予測結果にポリゴンの重複は観察されなかった。