[논문 리뷰] SITSMamba for Crop Classification based on Satellite Image Time Series

Xiaolei Qin, Xin Su외 1명|arXiv (Cornell University)|2024. 09. 15.

Remote Sensing and Land Use인용 수 5

한 줄 요약

SITSMamba는 CNN 기반 공간 인코딩과 Mamba 기반 시간 인코더를 다중 작업 프레임워크로 결합하여 Satellite Image Time Series에서 작물 분류를 수행하고 PASTIS32 및 MTLCC 데이터셋에서 최첨단 정확도를 달성합니다.

ABSTRACT

Satellite image time series (SITS) data provides continuous observations over time, allowing for the tracking of vegetation changes and growth patterns throughout the seasons and years. Numerous deep learning (DL) approaches using SITS for crop classification have emerged recently, with the latest approaches adopting Transformer for SITS classification. However, the quadratic complexity of self-attention in Transformer poses challenges for classifying long time series. While the cutting-edge Mamba architecture has demonstrated strength in various domains, including remote sensing image interpretation, its capacity to learn temporal representations in SITS data remains unexplored. Moreover, the existing SITS classification methods often depend solely on crop labels as supervision signals, which fails to fully exploit the temporal information. In this paper, we proposed a Satellite Image Time Series Mamba (SITSMamba) method for crop classification based on remote sensing time series data. The proposed SITSMamba contains a spatial encoder based on Convolutional Neural Networks (CNN) and a Mamba-based temporal encoder. To exploit richer temporal information from SITS, we design two branches of decoder used for different tasks. The first branch is a crop Classification Branch (CBranch), which includes a ConvBlock to decode the feature to a crop map. The second branch is a SITS Reconstruction Branch that uses a Linear layer to transform the encoded feature to predict the original input values. Furthermore, we design a Positional Weight (PW) applied to the RBranch to help the model learn rich latent knowledge from SITS. We also design two weighting factors to control the balance of the two branches during training. The code of SITSMamba is available at: https://github.com/XiaoleiQinn/SITSMamba.

연구 동기 및 목표

• 위성 이미지 시계열(SITS)에서 장기 시간적 모델링을 활용하여 정확한 작물 분류를 촉진한다.
• SITS에서 시공간 특징 학습을 위한 CNN+Mamba 아키텍처인 SITSMamba를 도입한다.
• 교정 감독을 풍부하게 하기 위해 작물 분류 분기(CBranch)와 SITS 재구성 분기(RBranch)를 갖춘 다중 작업 프레임워크를 제안한다.
• 나중 시점의 학습을 강화하고 이중 작업 손실을 균형 있게 조정하기 위해 위치 가중치(Positional Weight)를 도입한다.

제안 방법

• 공간 인코더로서 각 프레임의 공간 특징을 추출하는 CNN 기반 ConvBlock을 사용한다.
• 긴-range 시간 의존성을 효율적으로 포착하기 위해 시간 인코더로 Mamba 블록을 적용한다.
• 작물 맵 예측용 CBranch와 원래의 SITS를 재구성하는 RBranch의 두 디코더 분기를 구현한다.
• 재구성 손실에서 나중 시간 단계를 강조하고 두 분기의 균형을 맞추기 위한 Positional Weight(PW)와 두 분기를 위한 두 개의 균형 가중치를 도입한다.
• 결합 손실 L = L_cls + w0 * w1 * L_tp로 학습하며 L_tp는 시간 예측 손실이고 L_cls는 작물 분류 손실이다.
• 추론에서는 작물 분류를 위해 CBranch만 사용하고 RBranch는 사용하지 않는다.

실험 결과

연구 질문

• RQ1 Mamba 기반 시간 인코더가 SITS 작물 분류의 장기 시간 모델링을 개선할 수 있는가?
• RQ2 SITS를 분류와 함께 재구성하는 다중 작업 프레임워크가 단일 작업 접근법보다 로버스트성과 정확도를 개선하는가?
• RQ3 시간 위치 가중치가 SITS 기반 작물 분류의 서로 다른 시간 단계로부터의 학습에 어떤 영향을 미치는가?

주요 결과

• PASTIS32에서 SITSMamba는 OA 0.7416, mIoU 0.5005, 그리고 mF1 0.6449를 달성하여 여러 SOTA 방법을 능가합니다.
• MTLCC에서 SITSMamba는 OA 0.9104, mIoU 0.7639, 그리고 mF1 0.8496를 달성하여 비교 방법들 중 최고입니다.
• SITSMamba는 여러 작물 클래스에서 Baseline 대비 더 높은 F1 점수를 산출하며, 일부 어려운 클래스에서도 우수합니다.
• 에블레이션 연구는 RBranch, PW, 그리고 손실 균형 매개변수 w1의 효과를 보여 성능 향상에 기여함을 시사합니다.