[論文レビュー] Image-Conditioned Graph Generation for Road Network Extraction

Davide Belli, Thomas Kipf|arXiv (Cornell University)|Oct 31, 2019

Data Visualization and Analytics参考文献 32被引用数 26

ひとこと要約

本稿では、自己注意メカニズムと、新しい評価指標であるStreetMover距離を用いて、衛星画像のセグメンテーションを条件として道路網グラフを生成する深層自己回帰モデル、Generative Graph Transformer (GGT) を提案する。本研究ではToulouse Road Networkデータセットを導入し、後処理ヒューリスティクスに依存しないエンドツーエンドの道路網抽出で最先端の性能を示している。

ABSTRACT

Deep generative models for graphs have shown great promise in the area of drug design, but have so far found little application beyond generating graph-structured molecules. In this work, we demonstrate a proof of concept for the challenging task of road network extraction from image data. This task can be framed as image-conditioned graph generation, for which we develop the Generative Graph Transformer (GGT), a deep autoregressive model that makes use of attention mechanisms for image conditioning and the recurrent generation of graphs. We benchmark GGT on the application of road network extraction from semantic segmentation data. For this, we introduce the Toulouse Road Network dataset, based on real-world publicly-available data. We further propose the StreetMover distance: a metric based on the Sinkhorn distance for effectively evaluating the quality of road network generation. The code and dataset are publicly available.

研究の動機と目的

• 手動による後処理ヒューリスティクスに依存しないエンドツーエンドの深層学習フレームワークを、セマンティックセグメンテーションマップから道路網を抽出する目的として開発すること。
• 画像データから正確でトポロジカルに整合性のある道路網を生成する課題に、条件付きグラフ生成アプローチを用いて対処すること。
• グラフの順列、平行移動、回転に対して不変であるStreetMover距離という新しい評価指標を導入し、生成された道路網と正例との間の堅牢な比較を可能にすること。
• 公開可能なデータ上で道路網抽出モデルを評価するための実世界ベンチマークとしてのToulouse Road Networkデータセットをリリースすること。
• ノイズのある入力セグメンテーションにさらされても、モデルのスケーラビリティとロバストネスを示すこと。

提案手法

• Generative Graph Transformer (GGT) は、自己注意メカニズムを用いたエンコーダ・デコーダアーキテクチャを採用し、画像特徴を条件としてグラフ生成を行う。
• 画像エンコーダは64×64のグレースケール入力を処理し、以前に生成されたノードのコンテキストに注目することで、各生成ステップで条件ベクトルを生成する。
• デコーダは、ノードとエッジを段階的に生成する再帰的自己回帰プロセスを採用し、ノード座標とソフト隣接行列を多頭注目とフィードフォワードネットワークによって予測する。
• ノードおよびエッジ特徴量は、最終的な隠れ表現に個別のMLPヘッドを適用して予測され、座標は[-1, +1]に正規化され、隣接値はシグモイド関数により[0,1]にスケーリングされる。
• モデルは、隣接行列のためのバイナリクロスエントロピーとノード座標のための平均二乗誤差を組み合わせたハイブリッド損失関数を用いて学習され、二つの損失をバランスさせる学習可能ハイパーパrameterが含まれる。
• グラフ変換（順列、平行移動、回転）に対して不変であることを保証するため、道路網ノードの点群間のSinkhorn距離に基づいた、新しい評価指標であるStreetMover距離が導入されている。

実験結果

リサーチクエスチョン

• RQ1 手動による後処理ヒューリスティクスを一切用いずに、セマンティックセグメンテーションマップから道路網を効果的に抽出できる深層自己回帰グラフ生成モデルは存在するか？
• RQ2 Generative Graph Transformerは、トポロジカルな正確性を保ちながら、大規模で複雑な道路網に対してもスケーラブルか？
• RQ3 実際の衛星画像で一般的に見られるノイズや不完全なセグメンテーション入力に対して、モデルのロバストネスはどの程度高いか？
• RQ4 提案されたStreetMover距離指標は、従来の指標と比較して、生成された道路網の構造的忠実度をどの程度的確に捉えられるか？
• RQ5 実世界データ上でエンドツーエンドに学習された条件付きグラフ生成フレームワークは、道路網抽出で競争力のある性能を達成できるか？

主な発見

• StreetMover距離指標は、生成された道路網と正例との間の構造的類似性を的確に捉えており、テストケースの半数で中央値距離が0.010未満であることが確認された。
• GGTモデルはToulouse Road Networkデータセットにおいて最先端の性能を達成しており、定性的および定量的評価の両方でベースラインモデルを上回っている。
• モデルは、低～中程度のノイズを含む入力セグメンテーションに対し、強いロバストネスを示しているが、非常に複雑な道路網やごみだらけの入力では性能が低下する傾向がある。
• 定性的な結果から、GGTは、困難な状況下でもトポロジカルに整合性のあるグラフを生成しており、ノードの配置とエッジ接続性が正確であることが示された。
• StreetMover距離のヒストグラムから、大多数の再構成が極めて正確であり、平均距離の上昇に寄与するのは少数の失敗事例に限られることが分かった。
• モデルは、連結されていないセグメントの統合や孤立した部分グラフの削除といった手動による後処理ステップを不要とする、効果的なエンドツーエンドの道路網抽出を達成している。