[論文レビュー] SITSMamba for Crop Classification based on Satellite Image Time Series

Xiaolei Qin, Xin Su+1 more|arXiv (Cornell University)|Sep 15, 2024

Remote Sensing and Land Use被引用数 5

ひとこと要約

SITSMamba は CNN ベースの空間エンコーダと Mamba ベースの時間エンコーダをマルチタスク フレームワークで組み合わせ、Satellite Image Time Series から作物を分類し、PASTIS32 および MTLCC データセットで最先端の精度を達成します。

ABSTRACT

Satellite image time series (SITS) data provides continuous observations over time, allowing for the tracking of vegetation changes and growth patterns throughout the seasons and years. Numerous deep learning (DL) approaches using SITS for crop classification have emerged recently, with the latest approaches adopting Transformer for SITS classification. However, the quadratic complexity of self-attention in Transformer poses challenges for classifying long time series. While the cutting-edge Mamba architecture has demonstrated strength in various domains, including remote sensing image interpretation, its capacity to learn temporal representations in SITS data remains unexplored. Moreover, the existing SITS classification methods often depend solely on crop labels as supervision signals, which fails to fully exploit the temporal information. In this paper, we proposed a Satellite Image Time Series Mamba (SITSMamba) method for crop classification based on remote sensing time series data. The proposed SITSMamba contains a spatial encoder based on Convolutional Neural Networks (CNN) and a Mamba-based temporal encoder. To exploit richer temporal information from SITS, we design two branches of decoder used for different tasks. The first branch is a crop Classification Branch (CBranch), which includes a ConvBlock to decode the feature to a crop map. The second branch is a SITS Reconstruction Branch that uses a Linear layer to transform the encoded feature to predict the original input values. Furthermore, we design a Positional Weight (PW) applied to the RBranch to help the model learn rich latent knowledge from SITS. We also design two weighting factors to control the balance of the two branches during training. The code of SITSMamba is available at: https://github.com/XiaoleiQinn/SITSMamba.

研究の動機と目的

• 長距離の時間情報モデリングを活用して、衛星画像時系列（SITS）からの正確な作物分類を動機づける。
• SITSMamba、CNN+Mamba アーキテクチャを導入し、SITSにおける時空間特徴学習を行う。
• 監督を豊かにするため、作物分類ブランチ（CBranch）と SITS 再構成ブランチ（RBranch）を備えたマルチタスクフレームワークを提案する。
• 後半の時刻位置からの学習を強化し、デュアルタスク損失のバランスを取るために Positional Weight を組み込む。

提案手法

• 各フレームの空間特徴を抽出するために、CNN ベースの ConvBlock を空間エンコーダとして使用する。
• 効率的な計算で長距離の時間的依存関係を捉えるために、Mamba ブロックを時間エンコーダとして適用する。
• 作物マップ予測のための CBranch と元の SITS を再構成する RBranch の2つのデコーダーブランチを実装する。
• 再構成損失において後半の時刻を強調する Positional Weight (PW) を導入し、2つのブランチのバランシングウェイトを設ける。
• 訓練は結合損失で行い、L = L_cls + w0 * w1 * L_tp とする。L_tp は時系列予測損失、L_cls は作物分類損失である。
• 推論は作物分類には CBranch のみを使用し、RBranch は未使用のままとする。

実験結果

リサーチクエスチョン

• RQ1 Mamba ベースの時間エンコーダは SITS の作物分類における長距離の時間モデリングを向上させることができるか？
• RQ2 分類と同時に SITS を再構成するマルチタスクフレームワークは、単一タスク手法よりも頑健性と精度を向上させるか？
• RQ3 SITS ベースの作物分類において、時間的ポジショナルウェイトが異なる時点からの学習にどのように影響するか？

主な発見

Method	OA / 全体精度	mIoU / 平均 IoU	mF1 / 平均 F1 スコア
BCLSTM	0.6697	0.3057	0.4282
3D U-Net	0.7057	0.3999	0.5358
UTAE	0.7349	0.4686	0.6107
BUnetConvLSTM	0.7155	0.4025	0.5401
BAtrousConvLSTM	0.7024	0.3917	0.5327
TSVIT	0.7200	0.4561	0.5999
SITSMamba	0.7416	0.5005	0.6449

• PASTIS32 では、SITSMamba は OA 0.7416、mIoU 0.5005、mF1 0.6449 を達成し、いくつかの SOTA 手法を上回る。
• MTLCC では、SITSMamba は OA 0.9104、mIoU 0.7639、mF1 0.8496 を達成し、比較対象法の中で最良。
• SITSMamba は、難易度の高いクラスを含む多くの作物クラスで F1 スコアを向上させ、ベースラインと比較して高い。
• アブレーション研究は、RBranch、PW、および損失バランシングパラメータ w1 が性能向上に有効であることを示している。