[論文レビュー] GEO-Bench: Toward Foundation Models for Earth Monitoring

Alexandre Lacoste, Nils Lehmann+15 more|arXiv (Cornell University)|Jun 6, 2023

Topic Modeling被引用数 17

ひとこと要約

GEO-Bench は Earth 監視のための 6 件の画像分類と 6 件のセマンティックセグメンテーション課題を提供し、基盤モデルを評価・比較する堅牢な評価プロトコルと 20 のベースラインの結果を提供します。

ABSTRACT

Recent progress in self-supervision has shown that pre-training large neural networks on vast amounts of unsupervised data can lead to substantial increases in generalization to downstream tasks. Such models, recently coined foundation models, have been transformational to the field of natural language processing. Variants have also been proposed for image data, but their applicability to remote sensing tasks is limited. To stimulate the development of foundation models for Earth monitoring, we propose a benchmark comprised of six classification and six segmentation tasks, which were carefully curated and adapted to be both relevant to the field and well-suited for model evaluation. We accompany this benchmark with a robust methodology for evaluating models and reporting aggregated results to enable a reliable assessment of progress. Finally, we report results for 20 baselines to gain information about the performance of existing models. We believe that this benchmark will be a driver of progress across a variety of Earth monitoring tasks.

研究の動機と目的

• 地球監視のための基盤モデルの開発を促進するため、多様でアクセスしやすいベンチマークを提供する。
• 不確実性の推定を伴う標準化された評価プロトコルを提供し、信頼性の高い進捗追跡を可能にする。
• 実用的なアプリケーションを反映する多様なマルチモーダル地球観測タスクを厳選する。
• オープンなデータセット、コード、ベースライン結果を提供することで再現可能な研究を促進する。

提案手法

• 複数のモダリティとセンサーにまたがる、12タスク（6分類、6セグメンテーション）のコンパクトで多様なセットを構成する。
• datasets を共通のロードスキームに変換・調和し、寛容なライセンスを適用する。
• 大規模データセットをサブサンプリングし、クラス分布を平衡化して典型的な下流データレジームを反映する。
• 評価時のファインチューニング、ハイパーパラメータ調整予算、およびデータ拡張のガイドラインを提供する。
• IQM、ブootstrap、正規化クロスタスクスコアリングを用いた堅牢な報告を提案し、モデルを比較可能にする。
• 再現性のある実験を支援するオープンソースツールとデータローダを提供する。

Figure 1: Foundation models encapsulate multimodal data streams through self-supervised training. The trained models can then be fine-tuned for a variety of climate-related remote sensing tasks. Image sources: quantification Lütjens et al. ( 2019 ) , detection Jongaramrungruang et al. ( 2021 ) , gen

実験結果

リサーチクエスチョン

• RQ1 GEO-Bench における地球監視タスクへ最も転移するアーキテクチャと事前学習戦略は何か。
• RQ2 学習セットのサイズは、タスク間でモデルの識別性と全体性能にどのように影響するか。
• RQ3 マルチスペクトル情報は分類とセグメンテーションのタスクにどのような影響を与えるか。
• RQ4 ロバストな評価手法（IQM、ブートストラップ、正規化）は、モデル間の公正な比較をどう支援するか。

主な発見

• ConvNeXt と SwinV2 のベースラインは RGB のみの分類タスクで強い総合性能を達成。
• 事前学習済みバックボーンはスクラッチからの学習より明確な利点を提供し、いくつかのアーキテクチャで顕著な利得。
• マルチスペクトラル事前学習は結果が混在：一部のバックボーンで modest gains が見られるが、ViT-S の場合マルチスペクトルデータを使用すると性能が低下することがある。
• モデルのデータ効率は様々：全トレーニングデータの数パーセント程度で同等の性能に到達するバックボーンもある一方で、トランスフォーマーモデルは卓越するにはより多くのデータを必要とすることが多い。
• サブサンプリングとデータセットのバランスは識別性を向上させ、クラス不均衡手法によるスコアボードの水増しを防ぐ。
• ベンチマークはタスクごとの結果と、ブートストラップベースの信頼区間を用いた集計IQMを報告して不確実性を定量化する。

Figure 2: Representative samples of the classification benchmark .