[論文レビュー] Topological Map Extraction from Overhead Images

Zuoyue Li, Jan Dirk Wegner+1 more|arXiv (Cornell University)|Dec 4, 2018

Automated Road and Building Extraction参考文献 50被引用数 5

ひとこと要約

本稿では、アーチバル画像から直接ベクトル化されたポリゴンとして表される建物と道路を、ピクセル単位のセグメンテーションを経由せずに抽出するエンド・ツー・エンドのディーブラーニングフレームワークであるPolyMapperを提案する。CNN-RNNアーキテクチャに加え、独創的なグラフからポリゴンへの逐次化手法を用いることで、建物の形状抽出および道路網抽出の両面で最先端の性能を達成し、現実の地図サービスと類似した、コンパクトでトポロジー整合性のあるベクトル地図を生成する。

ABSTRACT

We propose a new approach, named PolyMapper, to circumvent the conventional pixel-wise segmentation of (aerial) images and predict objects in a vector representation directly. PolyMapper directly extracts the topological map of a city from overhead images as collections of building footprints and road networks. In order to unify the shape representation for different types of objects, we also propose a novel sequentialization method that reformulates a graph structure as closed polygons. Experiments are conducted on both existing and self-collected large-scale datasets of several cities. Our empirical results demonstrate that our end-to-end learnable model is capable of drawing polygons of building footprints and road networks that very closely approximate the structure of existing online map services, in a fully automated manner. Quantitative and qualitative comparison to the state-of-the-art also shows that our approach achieves good levels of performance. To the best of our knowledge, the automatic extraction of large-scale topological maps is a novel contribution in the remote sensing community that we believe will help develop models with more informed geometrical constraints.

研究の動機と目的

• アーチバル画像から直接ベクトル化されたトポロジカルマップ（建物と道路）を予測するエンド・ツー・エンドのディープラーニングモデルの開発。ピクセル単位のセグメンテーションを中間ステップとしない。
• 建物と道路という多様な幾何的対象を統一的に表現するため、グラフ構造の道路網を閉じた順序付きポリゴンに再定式化する。
• 訓練および評価のための、建物の敷地と道路網の両方を含む大規模かつ公開可能なデータセットの構築。
• 従来のマスクベースのセグメンテーションと比較して、直接的なベクトル予測がよりコンパクトで自然かつ地図サービスに適合した出力を得られることの実証。

提案手法

• PolyMapperは、アーチバル画像タイルからの空間的特徴を抽出するためのCNNバックボーンを採用し、建物および道路のキーポイントとエッジの証拠を検出する。
• マルチレイヤーのConvLSTMが特徴マップを逐次処理し、各オブジェクトインスタンスのベクトル表現を生成する。
• 独創的なグラフからポリゴンへの変換手法は、迷路解法アルゴリズムを用いて非有向道路網を一貫性のある閉じたポリゴン列に変換する。
• 建物の場合は、FPNからの領域提案を用い、RoIAlignにより局所化された特徴を抽出して高精度なポリゴン生成を実現する。
• モデルは各都市タイルを独立して処理し、空間的一致性とトポロジー照合を用いてタイル間の道路セグメントを統合する。
• 統一された損失関数により、検出とベクトル化の両方を最適化し、ジョイントエンド・ツー・エンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングモデルは、ピクセル単位のセグメンテーションに依存せずに、アーチバル画像から直接ベクトル化されたトポロジカルマップ（建物と道路）を予測できるか？
• RQ2 グラフ構造の道路網を、一貫性があり閉じた順序付きポリゴン表現に体系的に変換する方法は何か？
• RQ3 エンド・ツー・エンドのベクトル予測は、建物および道路抽出の両方において中間のピクセルレベルのセグメンテーションを用いる最先端手法と同等か、それ以上に優れているか？
• RQ4 同一モデルが、建物および道路マッピングの両タスクにおいて、多様な都市トポロジーに一般化して適応できるか？
• RQ5 得られたベクトルマップは、現実のオンライン地図サービスと比較して幾何的忠実度とコンパクト性の点でどの程度優れているか？

主な発見

• PolyMapperはPolyMapperデータセットにおいて建物の敷地抽出で44.7 mAP（AP）を達成し、Mask R-CNN（42.0）およびPANet（42.1）を上回り、再現率と適合率の両方が高い。
• 道路網抽出においては92.4% AP@85を達成し、DeepRoadMapper（74.3%）およびRoadTracer（82.8%）を上回り、トポロジカル構造予測の優れた正確性を示している。
• PolyMapperが生成する最終的なベクトルマップは31,749個の頂点と35,998本のエッジを有するが、RoadTracer（271k個の頂点）およびDeepRoadMapper（126k個の頂点）と比較して顕著に少ないことから、高いコンパクト性が裏付けられている。
• モデルはボストン、シカゴ、サニーベールの都市間で良好な一般化性能を示し、全指標の重み付き平均が安定している。
• PolyMapperのベクトル出力は、構造的およびトポロジカルに現実の地図サービスに類似しており、冗長性が最小限で幾何的忠実度が極めて高い。
• 提案されたグラフからポリゴンへの逐次化手法により、トポロジー整合性が保たれ、出力ベクトルマップにおける多様なオブジェクトタイプの統一的取り扱いが可能になっている。