[논문 리뷰] Deep Recurrent Neural Networks for mapping winter vegetation quality coverage via multi-temporal SAR Sentinel-1

Dinh Ho Tong Minh, Dino Ienco외 5명|arXiv (Cornell University)|2017. 08. 11.

Remote Sensing in AgricultureEnvironmental Science참고 문헌 7인용 수 16

한 줄 요약

이 연구는 프랑스 라 로체르에서 겨울 식생 품질 커버를 지ap하는 데 다중 시간대 센티넬-1 SAR 데이터를 사용한 딥 순환 신경망(RNN) 접근법을 제안한다. VV 및 VH 편광 시간 시리즈의 시간적 의존성을 모델링하기 위해 장기 단기 기억(LSTM) 및 게이트형 순환 단위(GRU) 네트워크를 활용함으로써, 기존 분류기보다 유의하게 뛰어난 성능을 보이며, GRU를 사용할 경우 F-측정치가 99.05%에 달하고 LSTM를 사용할 경우 98.83%를 기록하여 저품질 및 매우 낮은 품질의 커버를 포함한 다양한 식생 클래스의 복잡한 시간 패턴을 뛰어나게 구분함을 입증한다.

ABSTRACT

Mapping winter vegetation quality coverage is a challenge problem of remote sensing. This is due to the cloud coverage in winter period, leading to use radar rather than optical images. The objective of this paper is to provide a better understanding of the capabilities of radar Sentinel-1 and deep learning concerning about mapping winter vegetation quality coverage. The analysis presented in this paper is carried out on multi-temporal Sentinel-1 data over the site of La Rochelle, France, during the campaign in December 2016. This dataset were processed in order to produce an intensity radar data stack from October 2016 to February 2017. Two deep Recurrent Neural Network (RNN) based classifier methods were employed. We found that the results of RNNs clearly outperformed the classical machine learning approaches (Support Vector Machine and Random Forest). This study confirms that the time series radar Sentinel-1 and RNNs could be exploited for winter vegetation quality cover mapping.

연구 동기 및 목표

• 고층 구름이 자주 발생하는 지역에서 겨울 식생 품질 커버를 지도화하는 데 있어 광학 센서의 사용을 제한하는 문제를 해결하기 위해.
• 특히 다중 시간대 SAR 데이터의 시간적 의존성을 활용하는 데 있어 딥 러닝, 특히 순환 신경망(RNN)의 효과성을 평가하기 위해.
• 다섯 개인 겨울 식생 품질 클래스를 분류하기 위해 RNN 기반 모델(LSTM 및 GRU)을 전통적인 기계학습 방법(SVM 및 랜덤 포레스트)과 비교하기 위해.
• 특히 시간적 프로파일이 겹치거나 모호한 경우에, 센티넬-1 SAR 시간 시리즈의 시간적 상관관계가 분류 정확도에 미치는 영향을 평가하기 위해.

제안 방법

• VV 및 VH 이중 편광으로 13회의 데이터 수집(2016년 10월부터 2017년 2월까지)을 포함한 다중 시간대 센티넬-1 SAR 데이터를 사용하였으며, 12일 주기로 재방문된다.
• 사전 처리로 코어지지, 방사계산 보정, 다섯 번의 레이크 강도 추정을 수행하여 스펙클 노이즈를 감소시키면서도 공간 해상도를 유지하였다.
• 시간적 필터링을 적용하여 신호 대 잡음 비율을 향상시키고 시간 시리즈 데이터의 방사계 해상도를 향상시켰으며, 공간 세부 정보를 손상시키지 않았다.
• 시간 시리즈 강도 데이터에 대해 엔드 투 엔드로 훈련된 두 가지 딥 러닝 아키텍처(LSTM 및 GRU)를 사용하여 시간 역학을 모델링하고 식생 품질을 다섯 개의 클래스로 분류하였다.
• 모델 일반화 능력을 평가하기 위해 5개의 교차 검증 전략을 적용하였으며, 성능 평가 지표로는 F-측정치, 정확도, 카파 통계치를 사용하였다.
• 혼동 행렬 및 각 클래스별 F-측정치 분석을 통해 주로 저품질, 매우 낮은 품질, 갈라진 토양 클래스 간의 잘못 분류 패턴을 평가하였다.

실험 결과

연구 질문

• RQ1 딥 순환 신경망은 다중 시간대 센티넬-1 SAR 데이터의 시간적 의존성을 효과적으로 모델링하여 겨울 식생 품질 분류에 활용할 수 있는가?
• RQ2 이 분류 작업에서 RNN 기반 모델(LSTM 및 GRU)은 전통적인 기계학습 방법(SVM 및 랜덤 포레스트)에 비해 성능에서 어떻게 다를까?
• RQ3 기존 분류기가 저품질 및 매우 낮은 품질 식생 품질 클래스를 구분하는 데 어려움을 겪는 이유는 무엇이며, RNN은 이 제약을 어떻게 극복할 수 있는가?
• RQ4 SAR 시간 시리즈의 시간적 상관관계가 분류 정확도에 얼마나 기여하는가? 특히 시간적 프로파일이 겹치거나 모호한 클래스의 경우에 대해.

주요 결과

• GRU 기반 RNN이 가장 높은 F-측정치 99.05%를 기록하였고, LSTM는 98.83%를 기록하여 SVM(91.22%) 및 랜덤 포레스트(91.77%)를 뚜렷이 앞섰다.
• RNN 모델은 저품질 및 매우 낮은 품질을 포함한 모든 다섯 개의 식생 품질 클래스에서 일관된 성능을 보였으며, 이는 기존 방법이 자주 잘못 분류하는 클래스였다.
• SVM 및 랜덤 포레스트는 고품질(클래스 4)에서 가장 높은 정확도를 기록했고, 저품질(클래스 2)에서는 가장 낮은 정확도를 기록하여, 시간적 프로파일이 모호한 경우의 일반화 능력이 떨어지는 것으로 나타났다.
• 모든 모델에서 저품질(2)과 갈라진 토양(5) 클래스 간 잘못 분류가 빈번히 발생했지만, RNN은 기존 분류기보다 이 오류를 줄였다.
• 혼동 행렬 분석 결과, RNN은 시간적 패턴이 유사한 저품질 및 매우 낮은 품질 클래스 간의 구분 능력이 뛰어나, 순차적 의존성을 모델링할 수 있는 능력 덕분이었다.
• 이 연구는 RNN이 표준 분류기가 忽시하는 시간적 상관관계를 명시적으로 활용하므로 SAR 시간 시리즈 분류에 매우 적합하다는 점을 확인한다.