[論文レビュー] Lightweight, Pre-trained Transformers for Remote Sensing Timeseries

Gabriel Tseng, Cartuyvels, Ruben+4 more|arXiv (Cornell University)|Apr 27, 2023

Distributed and Parallel Computing Systems被引用数 27

ひとこと要約

Presto はリモートセンシングにおけるピクセル時系列の軽量事前学習トランスフォーマーで、はるかに少ないパラメータと計算量で競争力のある性能を達成し、スケーラブルな展開と柔軟な転移学習を可能にします。

ABSTRACT

Machine learning methods for satellite data have a range of societally relevant applications, but labels used to train models can be difficult or impossible to acquire. Self-supervision is a natural solution in settings with limited labeled data, but current self-supervised models for satellite data fail to take advantage of the characteristics of that data, including the temporal dimension (which is critical for many applications, such as monitoring crop growth) and availability of data from many complementary sensors (which can significantly improve a model's predictive performance). We present Presto (the Pretrained Remote Sensing Transformer), a model pre-trained on remote sensing pixel-timeseries data. By designing Presto specifically for remote sensing data, we can create a significantly smaller but performant model. Presto excels at a wide variety of globally distributed remote sensing tasks and performs competitively with much larger models while requiring far less compute. Presto can be used for transfer learning or as a feature extractor for simple models, enabling efficient deployment at scale.

研究の動機と目的

• リモートセンシングにおける希薄で信頼性に欠けるラベルを、ピクセル時系列に対する自己教師あり学習を活用して解決する。
• マルチセンサーで時間的に構造化されたリモートセンシングデータに適した、軽量なトランスフォーマーアーキテクチャを開発する。
• 不完全な入力や異なるデータモダリティを有しながらも、堅牢な下流の転移学習と特徴抽出を可能にする。

提案手法

• Presto は複数センサーと派生製品のピクセル時系列で訓練されたエンコーダ-デコーダのトランスフォーマーを用いたマスクされた自己符号化フレームワークを使用する。
• 入力は timestep ごとにチャネルグループ（例：S1, S2 RGB, ERA5, NDVI, DW）にトークン化され、共通の潜在空間に埋め込まれる。
• 位置情報、月情報、チャネルグループのエンコーディングをトークンに付加して、時系列・空間・センサーメタデータを伝える。
• 欠損データへの頑健性を促進するため、マスキングタイプ（ランダム、チャネルグループ、連続する時刻、時刻）をランダムに選択する構造化マスキング戦略。
• 事前学習では、12か月ウィンドウにわたる10m解像度の21.5Mピクセルサンプルを使用し、動的時間情報と静的時間情報の両方を組み込む。
• 微調整時にはデコーダを破棄し、エンコーダのみを特徴抽出機として使用するか、下流タスクのために微調整する。

実験結果

リサーチクエスチョン

• RQ1 ピクセル時系列に焦点を当てたトランスフォーマーは、自己教師あり方式でマルチセンサリモートセンシングデータから有用な表現を学習できるか？
• RQ2 入力が時間的に不完全な場合、チャネルが不完全な場合、またはその両方の場合、Prestoはどう機能するか？
• RQ3 軽量なピクセルベースのモデルは、時系列および画像ベースのリモートセンシングタスクの大規模CVベースモデルと競合できるか？
• RQ4 Prestoは、さまざまな下流タスクでデータモダリティや地理的領域が異なる場合にも、効果的な特徴抽出機として機能するか、あるいは微調整して利用できるか？

主な発見

• Presto は、大規模な ViT/ResNet ベースラインに比べて最大1000倍少ない学習可能パラメータと、推論時の FLOPs が大幅に少なく競争力のある性能を達成する。
• データの一部の timestep や チャンネルのみに提供された場合でもモデルは有効であり、欠損データに対する頑健性を示す。
• CropHarvest時系列タスクでは、Prestoは様々な入力構成下で最先端のTIMLとMOSAIKS-1Dを上回る。
• 回帰タスク（燃料水分、藻類ブルーム）では、Prestoは設定やタスク全体で高いRMSEパフォーマンスを示し、しばしばベースラインを上回る。
• 事前学習はランダム初期化に対して大幅なゲインを生み、データが少ない場合に約22%程度の精度向上をもたらし、モデルサイズの拡大が性能を向上させる。