[논문 리뷰] Panoptic Segmentation of Satellite Image Time Series with Convolutional Temporal Attention Networks

Vivien Sainte Fare Garnot, Loïc Landrieu|arXiv (Cornell University)|2021. 07. 16.

Remote Sensing in Agriculture인용 수 6

한 줄 요약

이 논문은 U-Net 기반 인코더와 시간적 자기주의를 결합하여 공간-시간 역학을 모델링하는 새로운 종단간(end-to-end), 단단계(single-stage) 위성 이미지 시계열(SITS)을 위한 패노픽 세그멘테이션 프레임워크인 U-TAE를 제안한다. 또한 패노픽 애너테이션을 갖춘 첫 번째 오픈 액세스 SITS 데이터셋인 PASTIS를 도입하며, 패노픽 세그멘테이션에서 최신 기술 수준(SOTA) 성능을 달성하여 이전 방법들보다 뚜렷한 성능 향상을 보였다.

ABSTRACT

Unprecedented access to multi-temporal satellite imagery has opened new perspectives for a variety of Earth observation tasks. Among them, pixel-precise panoptic segmentation of agricultural parcels has major economic and environmental implications. While researchers have explored this problem for single images, we argue that the complex temporal patterns of crop phenology are better addressed with temporal sequences of images. In this paper, we present the first end-to-end, single-stage method for panoptic segmentation of Satellite Image Time Series (SITS). This module can be combined with our novel image sequence encoding network which relies on temporal self-attention to extract rich and adaptive multi-scale spatio-temporal features. We also introduce PASTIS, the first open-access SITS dataset with panoptic annotations. We demonstrate the superiority of our encoder for semantic segmentation against multiple competing architectures, and set up the first state-of-the-art of panoptic segmentation of SITS. Our implementation and PASTIS are publicly available.

연구 동기 및 목표

• 위성 이미지 시계열(SITS)에 대한 종단간 패노픽 세그멘테이션 방법의 부족을 해결하기 위해, 시간에 따라 복잡한 작물 생장 주기를 모델링할 필요가 있다.
• 다중 시간적 위성 데이터에서 두드러진 시간 패턴을 적응적으로 캡처할 수 있는 공간-시간 인코더를 개발하여, 의미적 및 인스턴스 세그멘테이션 성능을 향상시키기 위함이다.
• 4,000km² 이상의 면적과 20억 개 이상의 애너테이션 픽셀을 포함하는 첫 번째 대규모 오픈 액세스 SITS 데이터셋인 PASTIS를 제작하고 공개하기 위함이다.
• 통합된 단일 단계 딥 러닝 프레임워크를 사용하여 위성 시계열 이미지에서 농업 파쇄의 패노픽 세그멘테이션에 대한 새로운 최신 기술 수준 기준을 설정하기 위함이다.

제안 방법

• 다중 해상도 공간 컨볼루션과 시간 자기주의 메커니즘을 조합한 U-Net 기반 인코더인 U-TAE를 제안하여, 적응적이고 해상도별 특징을 학습한다.
• 모든 특징 맵 해상도에서 픽셀별로 시간 자기주의 마스크를 생성하는 시간 자기주의 모듈을 도입하여, 해상도 인식 기반의 시간 특징 융합을 가능하게 한다.
• SITS에 특화된 수정된 CenterMask 기반 인스턴스 세그멘테이션 헤드인 PaPs(Parcels-as-Points)를 도입하여, 학습된 형태 패치와 시각적 중요도 맵을 활용해 인스턴스 예측을 수행한다.
• 모든 시간 단계를 동시에 처리하기 위해 공유된 컨volutional 인코더를 사용한 후, 해상도별 시간 자기주의를 적용하여 시간 차원을 하나의 공간-시간 특징 맵으로 압축한다.
• 다양한 해상도 수준 간에 시간 자기주의 마스크를 공간적 보간을 통해 정렬하여, 모든 스케일에서 일관된 시간 모델링을 보장한다.
• 표준 패노픽 세그멘테이션 손실을 사용하여 전체 모델을 종단간으로 훈련하며, 평가 지표로는 인식 품질(RQ)과 패노픽 품질(PQ)을 사용한다.

실험 결과

연구 질문

• RQ1 공간, 스펙트럼, 시간 역학을 동시에 모델링하는 통합된 단일 단계 딥 러닝 프레임워크가 SITS 패노픽 세그멘테이션에서 최신 기술 수준 성능을 달성할 수 있는가?
• RQ2 학습 가능한 시간 자기주의 메커니즘이 SITS의 생장 주기 패턴을 포착하는 데 있어 순환형 또는 컨볼루션형 시간 인코더보다 어떻게 비교되는가?
• RQ3 시간 역학을 모델링하는 것이 단일 이미지 기반 베이스라인 대비 패노픽 세그멘테이션 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 방법이 주의 메커니즘을 통해 구름으로 인해 손상된 이미지를 자동으로 걸러내며, 이로 인해 정확도가 향상되는가?

주요 결과

• 제안된 U-TAE + PaPs 프레임워크는 PASTIS 데이터셋에서 패노픽 품질(PQ) 43.8을 달성하여 SITS 패노픽 세그멘테이션 분야에서 새로운 최신 기술 수준을 수립했다.
• 시간 자기주의 인코더를 U-BiConvLSTM으로 교체할 경우 PQ 점수가 8.2 포인트나 감소하여, 자기주의 메커니즘이 우월함을 입증했다.
• 단일 구름 없는 이미지(예: 8월)만을 사용할 경우 PQ 점수는 14.1에 그치며, 정확한 파쇄 세그멘테이션을 위해 시간 모델링이 필수적임을 보여준다.
• 모델은 구름이 있는 이미지에 대해 더 적은 주의를 기울이며, 평균적으로 구름 없는 이미지 대비 58% 적은 주의를 기울여 효과적인 노이즈 필터링이 이루어짐을 나타낸다.
• 다양한 형태 패치 크기(S=8에서 S=24)에 걸쳐 성능이 안정적으로 유지되어, 인스턴스 예측 헤드의 강건성을 확인할 수 있었다.
• 이전에 보고된 RQ 지표 계산 오류로 인해 점수가 약 3 PQ 포인트 가량 과소평가되었으며, 수정된 결과에서는 모든 방법에서 일관되게 약 3포인트 향상됨을 확인했다.