[논문 리뷰] Combining Sentinel-1 and Sentinel-2 Time Series via RNN for object-based land cover classification

Dino Ienco, Raffaele Gaetano외 3명|arXiv (Cornell University)|2018. 12. 13.

Remote-Sensing Image Classification참고 문헌 10인용 수 23

한 줄 요약

이 논문은 지형 분류를 위해 다중시계열 센티넬-1(레이다) 및 센티넬-2(광학) 위성 이미지 시계열을 개체 수준에서 융합하는 딥러닝 아키텍처인 OD2RNN을 제안한다. 시간적 동역학을 모델링하기 위해 두 개의 병렬 RNN 스트림을 사용하고 분류 이전에 특징을 연결함으로써, 오우니온 섬에서 89.59%의 정확도를 달성하여 랜덤 포레스트 기준선을 크게 뛰어넘으며, 작물 재배 및 그림자 영향을 받는 지역과 같은 도전적인 클래스에 대해 뛰어난 일반화 능력을 보여준다.

ABSTRACT

Radar and Optical Satellite Image Time Series (SITS) are sources of information that are commonly employed to monitor earth surfaces for tasks related to ecology, agriculture, mobility, land management planning and land cover monitoring. Many studies have been conducted using one of the two sources, but how to smartly combine the complementary information provided by radar and optical SITS is still an open challenge. In this context, we propose a new neural architecture for the combination of Sentinel-1 (S1) and Sentinel-2 (S2) imagery at object level, applied to a real-world land cover classification task. Experiments carried out on the Reunion Island, a overseas department of France in the Indian Ocean, demonstrate the significance of our proposal.

연구 동기 및 목표

• 토지 이용 분류를 위해 상호보완적인 레이다(센티넬-1) 및 광학(센티넬-2) 위성 시계열을 효과적으로 융합하는 데 있어 열려 있는 과제를 해결하기 위해.
• 데이터 차원을 줄이고 특징의 대표성을 향상시킴으로써 개체 기반 분석을 활용하여 분류 정확도와 내구성을 향상시키기 위해.
• 다양한 소스와 다중시계열 데이터를 개체 수준에서 지능적으로 통합하는 딥러닝 모델을 개발하여 픽셀 수준의 방법과 단일 센서 접근법의 한계를 극복하기 위해.
• 복잡한 열대 환경인 오우니온 섬에서 실세계 데이터셋을 활용해 제안된 방법을 평가하기 위해.
• 다양한 소스 데이터를 융합할 때 기존의 머신러닝 모델인 랜덤 포레스트와 비교하여 제안된 아키텍처의 우수성을 입증하기 위해.

제안 방법

• OD2RNN 아키텍처는 센티넬-1(데시벨 단위의 VV+VH 복사율) 시계열을 처리하는 하나의 RNN 스트림과 센티넬-2(B2, B3, B4, B8, NDVI) 시계열을 처리하는 다른 하나의 RNN 스트림을 사용하며, 각각 34개와 24개 타임스탬프를 처리한다.
• 각 스트림은 다중시계열 데이터에서 순차적 패턴을 추출하기 위해 양방향 장기 단기 기억망(LSTM)을 사용하여 시간적 모델링을 수행한다.
• 두 스트림의 특징이 연결되어 최종 토지 이용 예측을 생성하기 위해 완전히 연결된 신경망 레이어를 통과한다.
• 객체는 SPOT6/7 투명 및 다중스펙트럼 이미지(10m 해상도)를 사용하여 대규모 일반 영역 융합 알고리즘을 통해 유도되며, 총 7,462개의 레이블이 부여된 세그먼트를 생성한다.
• 각 객체는 218개의 특징을 가진다: S2에서 유래한 170개(34개 타임스탬프 × 5개 밴드/지표수)와 S1에서 유래한 48개(24개 타임스탬프 × 2개 편광 방식).
• 모델은 교차 엔트로피 손실과 함께 확률적 경사 하강법를 사용하여 훈련되며, 전략적 분할을 포함한 10겹 교차 검증을 통해 평가된다.

실험 결과

연구 질문

• RQ1 다중시계열 센티넬-1 및 센티넬-2 시계열을 개체 수준에서 융합하는 딥러닝 아키텍처가 기존의 머신러닝 모델인 랜덤 포레스트보다 토지 이용 분류에서 우월한 성능을 보일 수 있는가?
• RQ2 레이다 및 광학 데이터의 통합은 오우니온 섬처럼 자주 흐린 구름에 둘러싸인 복잡한 열대 지형에서 분류 성능 향상에 어떻게 기여하는가?
• RQ3 픽셀 수준의 접근법에 비해 개체 기반 처리가 특징 표현과 분류 내구성 향상에 얼마나 기여하는가?
• RQ4 제안된 OD2RNN 모델은 광학 영상만으로는 구분하기 어려운 스펙트럼적으로 유사한 클래스, 예를 들어 작물 재배 및 농장 지역의 오분류를 줄이는가?
• RQ5 레이다 센서는 그림자에 민감하지 않지만 광학 센서는 그렇지 않은 점을 감안할 때, 모델은 그림자 영역과 같은 도전적인 클래스에서 어떻게 성능을 발휘하는가?

주요 결과

• OD2RNN는 총 정확도 89.59%를 기록하여 최고의 랜덤 포레스트 기준선(RF(S2))의 86.40%와 RF(S1,S2)의 82.01%를 크게 뛰어넘었다.
• OD2RNN의 F-메트릭은 89.48%를 기록하여 다음으로 우수한 방법인 RF(S2)의 86.10%보다 높아 전체 분류 성능 향상을 시사한다.
• 작물 재배 클래스(클래스 0)에서 OD2RNN는 F-메트릭 84.27%를 기록하여 RF(S2)의 74.79%보다 10포인트 향상되었다.
• 광학 센서에 문제가 되는 그림자 클래스(클래스 12)에서, OD2RNN는 F-메트릭 82.31%를 기록하여 RF(S1)의 0.0%를 뛰어넘었으며, 레이다의 그림자에 대한 민감도 부족이 유리하게 작용함을 보여주었다.
• 시각적 분석 결과, OD2RNN는 농장과 작물 재배 지역의 오분류를 줄였고, 구름으로 인한 오류를 최소화하여 랜덤 포레스트(S1,S2)가 S2 데이터가 누락된 경우 보완하지 못했던 Volcanic 지역의 문제를 해결했다.
• 특히 높은 구름 커버와 복잡한 식생 구조를 가진 지역에서 시간 갭과 스펙트럼의 모호함을 다루는 데 있어 모델의 내구성이 입증되었다.