[論文レビュー] ViTs for SITS: Vision Transformers for Satellite Image Time Series

Michail Tarasiou, Erik Chavez+1 more|arXiv (Cornell University)|Jan 12, 2023

Time Series Analysis and Forecasting被引用数 6

ひとこと要約

本論文では、時空間因子化トークナイゼーションと取得時刻に特化した位置エンコーディングを用いることで、長期的な時系列ダイナミクスをモデル化するVision Transformerベースのアーキテクチャ、TSViTを提案する。本手法は、3つのSITSベンチマークデータセットにおいて最先端の性能を達成し、分類およびセマンティックセグメンテーションの両タスクで、先行手法と顕著な差を示した。

ABSTRACT

In this paper we introduce the Temporo-Spatial Vision Transformer (TSViT), a fully-attentional model for general Satellite Image Time Series (SITS) processing based on the Vision Transformer (ViT). TSViT splits a SITS record into non-overlapping patches in space and time which are tokenized and subsequently processed by a factorized temporo-spatial encoder. We argue, that in contrast to natural images, a temporal-then-spatial factorization is more intuitive for SITS processing and present experimental evidence for this claim. Additionally, we enhance the model's discriminative power by introducing two novel mechanisms for acquisition-time-specific temporal positional encodings and multiple learnable class tokens. The effect of all novel design choices is evaluated through an extensive ablation study. Our proposed architecture achieves state-of-the-art performance, surpassing previous approaches by a significant margin in three publicly available SITS semantic segmentation and classification datasets. All model, training and evaluation codes are made publicly available to facilitate further research.

研究の動機と目的

• 畳み込み演算を一切用いない、一般化された衛星画像時系列（SITS）処理のための完全なアテンション型深層学習モデルの開発。
• 高い計算効率と強いインダクティブバイアスを備えた、SITSにおける長時間系列のモデリングの課題への対処。
• 学習可能なクラストークンと取得時刻に特化した位置エンコーディングを用いることで、分類タスクにおける判別能力の向上。
• SITSモデリングにおいて、時空間因子化と空間時系列因子化の順序の優位性を検証。
• 複数のベンチマークデータセットにおいて、SITSのセマンティックセグメンテーションおよび分類タスクで最先端の性能を達成すること。

提案手法

• TSViTはSITSデータを重複のない時空間パッチに分割し、時間と空間を別々の次元として扱う。
• 時間と空間の次元を逐次的に処理する因子化された時空間エンコーダーを採用し、アテンションメカニズムがグローバルな依存関係を捉える。
• 不規則な衛星取得時刻を符号化し、時系列特徴の学習を向上させるために、取得時刻に特化した学習可能な位置エンコーディングを導入。
• 分類タスクにおける特徴集約の強化を図るため、複数の学習可能なクラストークンを用いる。
• カスタムデコーダーヘッドを介して、グローバル（分類）およびドメイン（セマンティックセグメンテーション）の予測ヘッドをサポート。
• アブレーションスタディにより、因子化順序、パッチサイズ、トークン相互作用パターンといった設計選択の影響を評価。

実験結果

リサーチクエスチョン

• RQ1 SITSモデリングにおいて、時空間因子化順序が空間時系列因子化順序を上回るか？
• RQ2 取得時刻に特化した位置エンコーディングは、不規則にサンプリングされたSITSデータにおいて性能をどのように向上させるか？
• RQ3 複数の学習可能なクラストークンは、SITSタスクにおけるモデルの判別能力にどのような影響を及えるか？
• RQ4 パッチサイズは、TSViTにおける特徴の粒度とセグメンテーション精度にどのように影響するか？
• RQ5 Transformerのグローバル受容 field は、畳み込み型またはRNNベースのモデルと比較して、SITS分類およびセグメンテーションの性能をどの程度向上させるか？

主な発見

• TSViTは3つの公開SITSベンチマークで最先端の性能を達成し、時空間因子化を用いたドイツデータセットではmIoUが78.5%を記録。空間時系列因子化と比較して29.7%の向上を示した。
• 複数のクラストークンを用いることでmIoUが5.1ポイント上昇（78.5%から83.6%）し、特徴集約における有効性が裏付けられた。
• 取得時刻に特化した位置エンコーディングは、固定エンコーディングと比較して2.8%の性能低下を示した。これは、不規則な取得時刻に対処する上でその重要性を確認した。
• 2×2の小さなパッチは3×3パッチと比較してmIoUを1.2%向上（84.8%）させ、空間的粒度の保持が優れていることを示した。
• TSViTは、すべての先行手法を上回り、特にセグメンテーションタスクで顕著な性能向上を示した。
• 二次的計算量を有するものの、推論時間とパrameter数が競争力を持ち、大規模なSITS応用に実用的である。