[논문 리뷰] Modeling the spatio-temporal dynamics of land use change with recurrent neural networks

Guodong Du, Liang Yuan외 2명|arXiv (Cornell University)|2018. 03. 29.

Land Use and Ecosystem Services참고 문헌 54인용 수 3

한 줄 요약

이 연구는 2000년에서 2016년까지의 연간 토지 이용 데이터를 사용하여 일본 츠쿠바에서 시간-공간적 토지 이용 변화를 모델링하고 예측하기 위해 순환 신경망(RNN) 특히 LSTM 및 LSTM-피플홀(peeking) 변종을 제안한다. 게이트가 부여된 RNN 아키텍처는 단순 RNN보다 유의하게 뛰어난 성능을 보이며, 특히 LSTM-피플홀이 가장 높은 성능을 기록하여 토지 이용 동역학에서 장기적인 시간적 의존성을 모델링하는 것이 중요하다는 것을 보여준다.

ABSTRACT

This study applies recurrent neural networks (RNNs), which are known for its ability to process sequential information, to model the spatio-temporal dynamics of land use change (LUC) and to forecast annual land use maps of the city of Tsukuba, Japan. We develop two categories of RNN models: 1) simple RNN, which is the basic RNN variant, 2) three RNN variants with advanced gated architecture: long short-term memory (LSTM), LSTM with peephole connection (LSTM-peephole), and gated recurrent unit (GRU) models. The four models are developed using spatio-temporal data with high temporal resolution, annual data for the periods 2000 to 2010, 2011 and 2012 to 2016 are used for training, validation and testing, respectively. The predictive performances are evaluated using classification metrics (accuracy and F1 score) and the map comparison metrics (Kappa simulation and fuzzy Kappa simulation). The results show that all RNN models achieve F1 scores higher than 0.55, and Kappa simulations higher than 0.47. Out of the four RNN models, LSTM and LSTM-peephole models significantly outperform the other two RNN models. Furthermore, LSTM-peephole model slightly outperforms the LSTM model. In addition, the results indicate that the RNN models with gated architecture, which have better ability to model longer temporal dependency, significantly outperform the simple RNN model. Moreover, the predictive performance of LSTM-peephole model gradually decreases with the decrease of temporal sequential length of the training set. These results demonstrate the benefit of taking temporal dependency into account to model the LUC process with RNNs.

연구 동기 및 목표

• 시간에 따른 순차적 데이터를 사용하여 토지 이용 변화(LUC)의 시간-공간적 역학을 모델링하기.
• 다양한 RNN 아키텍처의 성능을 연간 토지 이용 지도 예측에 대해 평가하기.
• 시간적 의존성 모델링이 LUC 예측 정확도에 미치는 영향 평가하기.
• 단순 RNN과 게이트가 부여된 RNN(LSTM, LSTM-피플홀, GRU) 간의 효과성 비교를 통해 장기적인 토지 이용 추세를 포착하는 능력 평가하기.

제안 방법

• 연구는 단순 RNN, LSTM, 피플홀 연결이 있는 LSTM, GRU의 네 가지 RNN 변종을 사용하여 순차적 토지 이용 데이터를 처리한다.
• 2000년에서 2016년까지 연간 해상도를 가진 시간-공간 데이터를 사용하며, 훈련(2000–2010), 검증(2011), 테스트(2012–2016)로 분할한다.
• 분류 평가 지표(정확도, F1 점수)와 지ap 비교 평가 지표(Kappa 시뮬레이션, 퍼지 Kappa 시뮬레이션)를 사용하여 모델 성능을 평가한다.
• 모델은 연속된 연도 간의 시간적 의존성을 학습하여 토지 이용 전환을 예측하도록 훈련된다.
• 게이트가 부여된 아키텍처(LSTM 및 LSTM-피플홀)는 학습 가능한 메모리 게이트를 통해 장기적 의존성을 더 잘 포착하도록 설계되어 있다.
• 훈련 세트에서 시간적 시퀀스 길이가 모델 성능에 미치는 민감도를 분석한다.

실험 결과

연구 질문

• RQ1 연간 토지 이용 데이터를 사용하여 RNN이 시간-공간적 토지 이용 변화를 효과적으로 모델링하고 예측할 수 있는가?
• RQ2 LSTM 및 LSTM-피플홀과 같은 게이트가 부여된 RNN 아키텍처가 단순 RNN보다 토지 이용 예측에서 뛰어난 성능을 보이는가?
• RQ3 훈련 세트에서 시간적 시퀀스 길이가 RNN 모델의 예측 성능에 어떤 영향을 미치는가?
• RQ4 장기적인 시간적 의존성을 모델링함으로써 토지 이용 변화 예측 정확도는 어느 정도 향상되는가?

주요 결과

• 모든 RNN 모델이 F1 점수 0.55 이상, Kappa 시뮬레이션 값 0.47 이상을 기록하여 강력한 예측 성능를 보였다.
• LSTM 및 LSTM-피플홀 모델은 F1 점수와 Kappa 시뮬레이션 모두에서 단순 RNN 및 GRU 모델보다 유의미하게 뛰어난 성능를 보였다.
• LSTM-피플홀 모델은 표준 LSTM 모델보다 略적으로 뛰어난 성능를 보였으며, 이는 향상된 메모리 제어가 예측 성능 향상에 기여함을 시사한다.
• 특히 LSTM-피플홀을 포함한 게이트가 부여된 RNN의 예측 성능은 훈련 세트에서 시간적 시퀀스가 짧아질수록 감소하는 경향을 보였으며, 이는 장기적 맥락 의존성에 크게 의존함을 시사한다.
• 결과적으로 RNN을 사용한 토지 이용 변화 예측에서 장기적인 시간적 의존성 모델링이 정확도 향상에 필수적임을 확인하였다.
• 연구는 게이트가 부여된 RNN이 단순 RNN보다 복잡한 시간-공간적 동역학을 포착하는 데 더 적합함을 입증하였다.