[논문 리뷰] ViTs for SITS: Vision Transformers for Satellite Image Time Series

Michail Tarasiou, Erik Chavez외 1명|arXiv (Cornell University)|2023. 01. 12.

Time Series Analysis and Forecasting인용 수 6

한 줄 요약

이 논문은 장기적인 시간 동적 특성을 모델링하기 위해 시간-공간 분리 토큰화와 획득 시간에 특화된 위치 인코딩을 사용하는 Vision Transformer 기반 아키텍처인 TSViT를 제안한다. 이는 세 가지 SITS 기준 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 분류 및 의미 분할 작업 모두에서 이전 방법들보다 뚜렷한 성능 향상을 보였다.

ABSTRACT

In this paper we introduce the Temporo-Spatial Vision Transformer (TSViT), a fully-attentional model for general Satellite Image Time Series (SITS) processing based on the Vision Transformer (ViT). TSViT splits a SITS record into non-overlapping patches in space and time which are tokenized and subsequently processed by a factorized temporo-spatial encoder. We argue, that in contrast to natural images, a temporal-then-spatial factorization is more intuitive for SITS processing and present experimental evidence for this claim. Additionally, we enhance the model's discriminative power by introducing two novel mechanisms for acquisition-time-specific temporal positional encodings and multiple learnable class tokens. The effect of all novel design choices is evaluated through an extensive ablation study. Our proposed architecture achieves state-of-the-art performance, surpassing previous approaches by a significant margin in three publicly available SITS semantic segmentation and classification datasets. All model, training and evaluation codes are made publicly available to facilitate further research.

연구 동기 및 목표

• 편차 없는 컨볼루션 연산 없이 일반적인 위성 이미지 시계열(SITS) 처리를 위한 완전한 어텐션 기반 딥 러닝 모델을 개발하기 위해.
• 높은 계산 효율성과 강한 인도크티브 비이론을 갖춘 SITS에서 장기적인 시간 시퀀스를 모델링하는 과제를 해결하기 위해.
• 학습 가능한 클래스 토큰과 획득 시간에 특화된 위치 인코딩을 통해 분류 능력을 향상시키기 위해.
• SITS 모델링에서 시간-공간 순서의 분해가 공간-시간 순서의 분해보다 우월한지 확인하기 위해.
• 다양한 기준 데이터셋에서 SITS 의미 분할 및 분류 작업에서 최신 기술 수준 성능을 달성하기 위해.

제안 방법

• TSViT는 SITS 데이터를 겹치지 않는 시간-공간 패치로 분할하며, 시간과 공간을 별도의 차원으로 간주한다.
• 시간과 공간 차원을 순차적으로 처리하는 인코더를 사용하며, 어텐션 메커니즘이 전역적 의존성을 포착한다.
• 불규칙한 위성 획득 시간을 인코딩하고 시간 특징 학습을 향상시키기 위해 획득 시간에 특화된 학습 가능한 위치 인코딩을 도입한다.
• 분류 작업의 분류 능력을 향상시키기 위해 다수의 학습 가능한 클래스 토큰을 사용하여 클래스 기반 특징 집합을 강화한다.
• 맞춤형 디코더 헤드를 통해 글로벌(분류) 및 디퍼지드(의미 분할) 예측 헤드를 모두 지원한다.
• 절단 연구를 통해 패치 크기, 토큰 상호작용 패턴, 분해 순서와 같은 설계 선택 사항을 평가한다.

실험 결과

연구 질문

• RQ1 SITS 모델링에서 시간-공간 분해 순서가 공간-시간 분해 순서보다 성능이 뛰어나나?
• RQ2 획득 시간에 특화된 위치 인코딩은 불규칙하게 샘플링된 SITS 데이터에서 성능을 어떻게 향상시키나?
• RQ3 다수의 학습 가능한 클래스 토큰은 SITS 작업에서 모델의 분류 능력에 어떤 영향을 미치나?
• RQ4 패치 크기는 TSViT에서 특징의 세분성과 분할 정확도에 어떤 영향을 미치나?
• RQ5 Transformer의 글로벌 수신 필드는 컨볼루션 또는 RNN 기반 모델 대비 SITS 분류 및 분할 성능 향상에 얼마나 기여하는가?

주요 결과

• TSViT는 세 가지 공개 SITS 기준 데이터셋에서 최신 기술 수준 성능을 달성했으며, 시간-공간 분해를 사용한 독일 데이터셋에서 78.5%의 mIoU를 기록했고, 공간-시간 분해 대비 29.7% 향상된 성능을 보였다.
• 다수의 클래스 토큰을 사용함으로써 mIoU가 5.1%포인트 향상되었으며(78.5%에서 83.6%로), 이는 특징 집합의 효과성을 입증한다.
• 획득 시간에 특화된 위치 인코딩은 고정 인코딩 대비 2.8% 성능 저하를 보였으며, 이는 불규칙한 획득 시간 처리에서의 중요성을 확인한다.
• 2×2 패치는 3×3 패치 대비 mIoU를 1.2% 향상시켰으며(84.8%로), 더 나은 공간 세분성 유지 능력을 보여준다.
• 의미 분할 작업에서 가장 큰 격차를 보이며, 모든 이전 방법보다 TSViT가 뛰어난 성능을 보였다.
• 비록 이중 복잡도를 가졌지만, TSViT는 경쟁 가능한 추론 시간과 파라미터 수를 유지하여 대규모 SITS 응용에 실용적이다.