[論文レビュー] SatlasPretrain: A Large-Scale Dataset for Remote Sensing Image Understanding

Favyen Bastani, Piper Wolters+3 more|arXiv (Cornell University)|Nov 28, 2022

Remote-Sensing Image Classification被引用数 5

ひとこと要約

SatlasPretrainは、137カテゴリおよび7種類のラベルタイプを含む、3億200万ラベルを有する大規模かつ多様なリモートセンシングデータセットを提供する。Sentinel-2およびNAIP画像を統合し、ImageNetや次の最良のベースラインと比較して、下流タスクの平均精度をそれぞれ18%および6%向上させる大規模な事前学習を可能にする。これは、多様でリソースが限られたリモートセンシングタスクにおける性能向上を顕著に示している。

ABSTRACT

Remote sensing images are useful for a wide variety of planet monitoring applications, from tracking deforestation to tackling illegal fishing. The Earth is extremely diverse -- the amount of potential tasks in remote sensing images is massive, and the sizes of features range from several kilometers to just tens of centimeters. However, creating generalizable computer vision methods is a challenge in part due to the lack of a large-scale dataset that captures these diverse features for many tasks. In this paper, we present SatlasPretrain, a remote sensing dataset that is large in both breadth and scale, combining Sentinel-2 and NAIP images with 302M labels under 137 categories and seven label types. We evaluate eight baselines and a proposed method on SatlasPretrain, and find that there is substantial room for improvement in addressing research challenges specific to remote sensing, including processing image time series that consist of images from very different types of sensors, and taking advantage of long-range spatial context. Moreover, we find that pre-training on SatlasPretrain substantially improves performance on downstream tasks, increasing average accuracy by 18% over ImageNet and 6% over the next best baseline. The dataset, pre-trained model weights, and code are available at https://satlas-pretrain.allen.ai/.

研究の動機と目的

• マルチタスク学習およびトランスファー学習を支援する大規模で多様かつ統合されたリモートセンシングデータセットの不足を解消すること。
• キロメートルからセンチメートルのスケールまで、グローバルな多様性を捉えた特徴を含めることで、一般化可能なコンピュータビジョンモデルの構築を可能にすること。
• 既存のベンチマークが断片的で小規模（1万枚未満）かつ単一タスクやカテゴリに限定されているという限界を克服すること。
• 違法漁業検知や氷河モニタリングなど、ラベル付き例が少ないニッチなリモートセンシングアプリケーションにおけるトランスファー学習を促進すること。
• 多様なセンサータイプ、長距離の空間的文脈、変動するオブジェクトスケールを処理できる統一された基盤を提供すること。

提案手法

• 高分解能のSentinel-2およびNAIP衛星画像を統合し、多様でグローバルに代表的なデータセットを構築する。
• ポイント、ポリゴン、ポリライン、セグメンテーション、回帰、プロパティ、パッチ分類の7種類のラベルタイプを用いて、137カテゴリにまたがる3億200万の個別のインスタンスをラベル付けする。
• 特徴抽出にSwin Transformerベースのバックボーン（SatlasNet）を採用し、SatlasPretrainで事前学習した後、下流タスクで微調整する。
• ImageNet、4つの既存のリモートセンシングデータセット（BigEarthNet、Million-AID、DOTA、iSAID）、および2つの自己教師あり手法（MoCo v2、SeCo）と比較して、事前学習の性能を評価する。
• 2段階の微調整プロトコルを実装：まずバックボーンを固定してヘッドを学習し、その後、モデル全体を微調整する。
• SatlasPretrainの規模と多様性を活かして、時系列データやマルチスペクトルデータを含む、タスクやセンサータイプにわたる一般化性能を向上させるモデルを訓練する。

Figure 2 : Overview of the SatlasPretrain dataset. SatlasPretrain consists of image time series and labels for 856K Web-Mercator tiles at zoom 13 (left). There are two image modes on which methods are trained and evaluated independently: high-resolution NAIP images (top) and low-resolution Sentinel-

実験結果

リサーチクエスチョン

• RQ1 大規模で多カテゴリのリモートセンシングデータセットは、多様な下流タスクにおけるトランスファー学習性能を向上させることができるか？
• RQ2 ImageNetや他のリモートセンシングベンチマークと比較して、SatlasPretrainで事前学習した場合の下流タスク精度はどの程度向上するか？
• RQ3 50枚のラベル付き例しか利用できないようなリソースが限られたリモートセンシングタスクにおいて、SatlasPretrainはどの程度性能を向上させるか？
• RQ4 既存のコンピュータビジョンモデルは、SatlasPretrainに含まれる全7種類のラベルタイプをどれほど効果的に処理できるか？
• RQ5 多様でマルチセンサのデータセットで事前学習することで、長距離の空間的文脈や変動するスケールの特徴に対する一般化性能が向上するか？

主な発見

• SatlasPretrainで事前学習することで、7つの多様なリモートセンシングタスク全体で、ImageNetでの事前学習と比較して平均精度が18%向上し、次の最良のベースラインと比較して6%向上した。
• 50枚のラベル付き例しか利用できない状況でも、顕著な性能向上が得られ、ゼロショットおよびフェイントショットのトランスファー能力が強いことを示した。
• 既存のコンピュータビジョンベースラインは、SatlasPretrainに含まれる7種類のラベルタイプすべてをサポートしていないため、リモートセンシングタスクに特化したアーキテクチャの開発が求められている。
• SatlasPretrainで事前学習したモデルは、風力タービンや水塔といった挑戦的なカテゴリでも高い性能を示したが、道路や鉄道などの密集したポリライン検出には課題が残っている。
• Satlasプラットフォームが示すように、SatlasPretrainで微調整したモデルを用いることで、風力タービン、ソーラーファーム、木々の被覆状況といったグローバルな地理空間データを毎月正確に抽出できる。
• 自己教師あり手法（SeCoなど）は有望ではあるが、SatlasPretrainでの教師あり事前学習に比べて性能が劣っており、洗練された大規模な教師付きラベルの価値が浮き彫りになった。

Figure 3 : Geographic coverage of SatlasPretrain , with bright pixels indicating locations covered by images and labels in the dataset. SatlasPretrain spans all continents except Antarctica.