[論文レビュー] EarthNets: Empowering AI in Earth Observation

Zhitong Xiong, Fahong Zhang+3 more|arXiv (Cornell University)|Oct 10, 2022

Scientific Computing and Data Management被引用数 60

ひとこと要約

本論文は、公開されている Earth Observation データセットを400件超レビューし、それらの属性を分析して新しいベンチマークを構築し、リモートセンシングデータ上で深層学習モデルの公平で再現可能な評価のために EarthNets を公開します。

ABSTRACT

Earth observation (EO), aiming at monitoring the state of planet Earth using remote sensing data, is critical for improving our daily lives and living environment. With a growing number of satellites in orbit, an increasing number of datasets with diverse sensors and research domains are being published to facilitate the research of the remote sensing community. This paper presents a comprehensive review of more than 500 publicly published datasets, including research domains like agriculture, land use and land cover, disaster monitoring, scene understanding, vision-language models, foundation models, climate change, and weather forecasting. We systematically analyze these EO datasets from four aspects: volume, resolution distributions, research domains, and the correlation between datasets. Based on the dataset attributes, we propose to measure, rank, and select datasets to build a new benchmark for model evaluation. Furthermore, a new platform for EO, termed EarthNets, is released to achieve a fair and consistent evaluation of deep learning methods on remote sensing data. EarthNets supports standard dataset libraries and cutting-edge deep learning models to bridge the gap between the remote sensing and machine learning communities. Based on this platform, extensive deep-learning methods are evaluated on the new benchmark. The insightful results are beneficial to future research. The platform and dataset collections are publicly available at https://earthnets.github.io.

研究の動機と目的

• 公開されている EO データセットの現状を、タスクとドメイン全体で要約する。
• データセット選択とベンチマーキングを支援する、属性ベースの体系的分析を提供する。
• RS メソッドの大規模で公正なベンチマークを構築するためのランキングと選択手法を提案する。
• EO データ上で深層学習モデルの公正で再現性のある評価を実現するオープンプラットフォームとして EarthNets を公開する。

提案手法

• 画像分類、物体検出、セマンティックセグメンテーション、変化検出、その他タスクにわたる公開 RS データセット400件超の網羅的レビュー。
• 各データセットから10の属性を抽出（ドメイン、年、サンプル、サイズ、クラス、モダリティ、解像度、ボリューム、引用、リンクを含む）。
• 体積、文献分析、解像度分布、研究ドメイン、データセット間の関係の五つの次元に沿った体系的分析。
• モデル評価のための新しいベンチマークを構築するため、五つの大規模汎用データセットのランキングとフィルタリング。
• 標準データセットライブラリを提供し、公正な比較を支援する最先端DLモデルをサポートする EarthNets プラットフォームの開発。
• 提案されたベンチマーク上で広範な DL 手法を評価し、将来の RS 研究への洞察を導出。

実験結果

リサーチクエスチョン

• RQ1 タスクとドメイン全体で公開されている EO データセットの主要属性は何か？
• RQ2 RS メソッドの公正で大規模なベンチマークを構築するために、データセットをどのようにランキング・選択できるか？
• RQ3 異なる EO データセット間の関係と相関は何か、そしてそれらが新しいアルゴリズム開発にどう情報を提供できるか？
• RQ4 統合プラットフォーム（EarthNets）は、リモートセンシングデータ上で深層学習メソッドの公正で再現性のある評価をどう可能にできるか？

主な発見

• 複数の EO タスクとドメインにまたがる公開 RS データセット400件超を特定・分類した。
• 検索とインデックス作成を容易にするため、各データセットに対して10の詳細属性を提供した。
• 五つの大規模汎用データセットを選択するためのランキング手法を提案し、新しい RS ベンチマークを構築した。
• データセット間の相関行列を構築し、データセット間のアルゴリズム開発に新しい視点を提供した。
• EarthNetsをオープンプラットフォームとして公開し、公正な比較と EO タスクの効率的な手法開発を可能にした。公開アクセスは earthnets.github.io にある。