[論文レビュー] Open High-Resolution Satellite Imagery: The WorldStrat Dataset -- With Application to Super-Resolution

Julien Cornebise, Ivan Oršolić+1 more|arXiv (Cornell University)|Jul 13, 2022

Advanced Image Fusion TechniquesEngineering被引用数 17

ひとこと要約

本論文は、世界中の多様な土地利用（特に人道的支援対象地域を含む）にわたって階層的に分類された、高分解能（1.5 m/ピixel）のAirbus SPOT 6/7衛星画像と、複数時刻にわたる低分解能（10 m/ピクセル）のSentinel-2画像をペアで含む大規模かつオープンアクセスのWorldStratデータセットを紹介する。このデータセットは、無料の低分解能データから高精細な画像を生成するための超解像モデルの学習を可能にし、再現可能性とコミュニティによる拡張を促進するオープンソースのツールとコードを併記している。

ABSTRACT

Analyzing the planet at scale with satellite imagery and machine learning is a dream that has been constantly hindered by the cost of difficult-to-access highly-representative high-resolution imagery. To remediate this, we introduce here the WorldStrat dataset. The largest and most varied such publicly available dataset, at Airbus SPOT 6/7 satellites' high resolution of up to 1.5 m/pixel, empowered by European Space Agency's Phi-Lab as part of the ESA-funded QueryPlanet project, we curate nearly 10,000 sqkm of unique locations to ensure stratified representation of all types of land-use across the world: from agriculture to ice caps, from forests to multiple urbanization densities. We also enrich those with locations typically under-represented in ML datasets: sites of humanitarian interest, illegal mining sites, and settlements of persons at risk. We temporally-match each high-resolution image with multiple low-resolution images from the freely accessible lower-resolution Sentinel-2 satellites at 10 m/pixel. We accompany this dataset with an open-source Python package to: rebuild or extend the WorldStrat dataset, train and infer baseline algorithms, and learn with abundant tutorials, all compatible with the popular EO-learn toolbox. We hereby hope to foster broad-spectrum applications of ML to satellite imagery, and possibly develop from free public low-resolution Sentinel2 imagery the same power of analysis allowed by costly private high-resolution imagery. We illustrate this specific point by training and releasing several highly compute-efficient baselines on the task of Multi-Frame Super-Resolution. High-resolution Airbus imagery is CC BY-NC, while the labels and Sentinel2 imagery are CC BY, and the source code and pre-trained models under BSD. The dataset is available at https://zenodo.org/record/6810791 and the software package at https://github.com/worldstrat/worldstrat .

研究の動機と目的

• 機械学習研究のための、オープンで高分解能かつ地理的に階層化された衛星画像の不足を解消すること。
• 高分解能のSPOT 6/7画像と複数回の低分解能のSentinel-2再訪問画像をペアで提供することで、超解像タスクを可能にすること。
• 公に利用可能な多様で構造化されたデータセットを提供することで、リモートセンシング分野における幅広い応用を支援すること。
• EO-learn互換のオープンソースツールと事前学習済みモデルを提供することで、衛星画像解析への参入障壁を低減すること。
• バージョン管理されたオープンライセンスと透明なデータキュレーションを実装することで、コミュニティ主導のデータ拡張と再現可能な研究を促進すること。

提案手法

• 23のLCCS土地利用クラスと6つのIPCCカテゴリにわたって、世界規模の地理的および土地利用的多様性を確保するよう、約10,000 km²のユニークな高分解能SPOT 6/7画像を収集した。
• 土地利用と都市部密度（GHSL-SMODを用いて）に基づく階層的サンプリングを実施し、紛争地域やインフォーマル・セッターメントなど、これまでにあまりカバーされていなかった地域も含めた。
• 同じ時間窓内での複数の時系列に整合したSentinel-2画像（10 m/ピクセル）を、高分解能SPOT画像ごとにペアで結びつけ、マルチフレーム超解像を可能にした。
• EO-learn統合を備えたオープンソースPythonパッケージを開発し、データセットの再構築・拡張・学習を可能にした。チュートリアルとベースラインモデルも同梱した。
• データセット上で学習した、計算効率の高い複数の超解像ベースライン（例：Multi-Frame SRCNN、HighResNet）を実装・公開した。
• データセットの永続的で追跡可能かつ更新可能なリリースを実現するため、Zenodoにバージョン管理されたDOIを導入し、コミュニティ貢献のための経路を整えた。

実験結果

リサーチクエスチョン

• RQ1 多様な機械学習応用を支援するため、大規模でオープンかつ地理的に階層化された高分解能衛星画像データセットを構築することは可能か？
• RQ2 高分解能SPOT 6/7画像とペアにした複数時刻の低分解能Sentinel-2画像は、超解像にどの程度有効か？
• RQ3 オープンソースツールとコミュニティ貢献は、衛星画像データセットのスケーラビリティと有用性をどの程度向上できるか？
• RQ4 標準ベンチマークと比較して、このペア化され階層化されたデータセットで学習された超解像モデルの性能特性はいかなるものか？
• RQ5 オープンライセンスとバージョン管理されたデータ配布は、地球観測研究における再現可能性と長期的持続可能性をどのように促進するか？

主な発見

• WorldStratデータセットは、23のLCCS土地利用クラスと6つのIPCCカテゴリをカバーする約10,000 km²の高分解能衛星画像を含み、地理的に階層化されたグローバルな代表性を持つ。
• 1,150のユニークな高分解能SPOT 6/7シーンが、複数回のSentinel-2再訪問画像とペアで提供されており、マルチフレーム超解像のトレーニングが可能である。
• 著者らは、複数の超解像ベースライン（例：Multi-Frame SRCNN、HighResNet）を学習・公開し、検証セットで競争力のあるPSNRおよびSSIMスコアを達成した。
• 統計的分析の結果、検証セット全体でモデル性能に顕著なばらつきが認められ、平均ベースの指標だけではベンチマークとして不十分であることが示された。
• データセットはZenodoにバージョン管理されたDOIでホスティングされており、長期的な持続性と追跡可能性を確保しており、今後はコミュニティ貢献や修正を支援する計画である。
• ライセンスモデルにより、幅広い再利用が可能である：高分解能画像はCC-BY-NC、Sentinel-2およびラベルはCC-BY、コード/モデルはBSDのため、アクセシビリティと統合性が最大化されている。