[論文レビュー] Joint Learning from Earth Observation and OpenStreetMap Data to Get Faster Better Semantic Maps

Nicolas Audebert, Bertrand Le Saux+1 more|arXiv (Cornell University)|May 17, 2017

Advanced Image and Video Retrieval Techniques参考文献 2被引用数 9

ひとこと要約

本稿では、マルチスペクトル空中・衛星画像のセマンティックラベル付けのためのディーブラーニングモデルにOpenStreetMap (OSM) データを補助入力として統合する手法を提案する。FuseNet や残留補正アーキテクチャを用いて、道路、建物、植生などの OSM ラスタをマルチスペクトルデータと融合することで、ISPRS ポツダム や DFC2017 といった公開データセットにおいて分類精度が最大5%向上し、モデルの収束速度が25%向上した。

ABSTRACT

In this work, we investigate the use of OpenStreetMap data for semantic labeling of Earth Observation images. Deep neural networks have been used in the past for remote sensing data classification from various sensors, including multispectral, hyperspectral, SAR and LiDAR data. While OpenStreetMap has already been used as ground truth data for training such networks, this abundant data source remains rarely exploited as an input information layer. In this paper, we study different use cases and deep network architectures to leverage OpenStreetMap data for semantic labeling of aerial and satellite images. Especially , we look into fusion based architectures and coarse-to-fine segmentation to include the OpenStreetMap layer into multispectral-based deep fully convolutional networks. We illustrate how these methods can be successfully used on two public datasets: ISPRS Potsdam and DFC2017. We show that OpenStreetMap data can efficiently be integrated into the vision-based deep learning models and that it significantly improves both the accuracy performance and the convergence speed of the networks.

研究の動機と目的

• リモートセンシングのセマンティックセグメンテーションにおいて、OpenStreetMap (OSM) データを単なるグランドトゥルースではなく、入力特徴として活用するという未利用状態を是正すること。
• OSM が提供する意味的および空間的情報を統合することで、地球観測 (EO) 画像のセマンティックラベリングのためのディープラーニングモデルの精度と収束速度を向上させること。
• 都市部および植生地帯の土地被覆クラスにおける分類性能を向上させるために、マルチスペクトル EO データと OSM ラスタの有効なフュージョン戦略を調査すること。
• ベンチマークデータセット上で提案手法を評価し、異なる地理的条件およびデータ品質条件下での堅牢性とスケーラビリティを示すこと。

提案手法

• 入力マルチスペクトル画像の空間解像度に一致するように、OSM のベクターレイヤー（道路、建物、植生など）をラスタ化する。
• マルチスペクトル画像と OSM ラスタを特徴量レベルで統合する FuseNet スタイルのアーキテクチャを採用し、異種のデータソースからの共同学習を可能にする。
• 深層学習が光学データを用いて OSM のセマンティックマップを精緻化する、粗いから細かい段階のセグメンテーションアプローチを実装し、OSM マップ品質の向上とモデルの一般化能力の強化を図る。
• OSM の予測結果を事前分布として用いて、マルチスペクトル CNN の最終的セマンティックセグメンテーション出力を補正・精緻化する残留補正を実装する。
• ISPRS ポツダムおよび DFC2017 データセットからのグランドトゥルースラベルを用いた教師あり学習により、OSM を補助入力として統合したエンドツーエンドのモデルを訓練する。
• 時空間的不一致を処理するため、データ増強および空間的アライメント技術を用いる。

実験結果

リサーチクエスチョン

• RQ1 リモートセンシングのセマンティックセグメンテーションにおいて、OSM データを学習のための入力特徴として効果的に活用できるか？
• RQ2 OSM ラスタの統合が、マルチスペクトル地球観測画像を学習対象とする深層ニューラルネットワークの精度と収束速度にどのように寄与するか？
• RQ3 セマンティックラベリングタスクにおいて、マルチスペクトル画像と OSM データを統合する際の最も効果的なフュージョンアーキテクチャは何か？
• RQ4 OSM データが古くなっている、あるいは不完全な場合、モデルの性能はどの程度維持されるか？また、データ品質およびカバレッジの変動に対してどの程度の堅牢性を示すか？
• RQ5 特定のクラス（例：密集した植生、密集した都市部）に対する OSM アノテーションが、分類性能をどの程度向上させるか？

主な発見

• OSM データをディーブラーニングモデルに統合した結果、ISPRS ポツダム データセットでは全体の精度が2.5%向上し、DFC2017 データセットではほぼ5%向上した。
• 残留補正フレームワークにおいて OSM レイヤーを活用したことで、ISPRS ポツダム データセットではモデルの収束速度が25%向上した。
• 特に都市部クラス（例：中高層の密集した建物）および密集した植生において、精度向上が顕著に見られ、OSM のアノテーションが重要な意味的および空間的事前知識を提供していた。
• マルチスペクトルデータと OSM ラスタの統合は、特に『密集した木』（クラス11）および『低木』（クラス14）といった、OSM の自然地形レイヤーにうまく表現されているクラスにおいて顕著に有効であった。
• OSM と EO データの時系列的不一致がわずかであっても、OSM データが最大2年分新しい状態であっても、性能の低下はほとんど見られず、モデルの堅牢性が確認された。
• OSM カバレッジが薄い地域においても、モデルは性能を維持しており、欠落または不完全な OSM 入力に対しても耐性があることが示された。