[논문 리뷰] The Error is the Feature: how to Forecast Lightning using a Model Prediction Error

Christian Schön, Jens Dittrich외 1명|arXiv (Cornell University)|2018. 11. 23.

Meteorological Phenomena and Simulations참고 문헌 19인용 수 10

한 줄 요약

이 논문은 위성 영상에 적용된 옵티컬 플로우 알고리즘의 예측 오차를 기계학습 모델의 핵심 특징으로 사용하는 새로운 번개 전망 방법을 제안한다. 운동 추정 오차를 대류 활동의 지표로 간주함으로써, 15분 이내 번개 예측 정확도가 최대 96%에 이를 수 있으며, 5시간 예측에서는 83% 이상 유지되나, 운영적 활용에 있어 여전히 잘못된 경고(위양성) 문제가 남아 있다.

ABSTRACT

Despite the progress within the last decades, weather forecasting is still a challenging and computationally expensive task. Current satellite-based approaches to predict thunderstorms are usually based on the analysis of the observed brightness temperatures in different spectral channels and emit a warning if a critical threshold is reached. Recent progress in data science however demonstrates that machine learning can be successfully applied to many research fields in science, especially in areas dealing with large datasets. We therefore present a new approach to the problem of predicting thunderstorms based on machine learning. The core idea of our work is to use the error of two-dimensional optical flow algorithms applied to images of meteorological satellites as a feature for machine learning models. We interpret that optical flow error as an indication of convection potentially leading to thunderstorms and lightning. To factor in spatial proximity we use various manual convolution steps. We also consider effects such as the time of day or the geographic location. We train different tree classifier models as well as a neural network to predict lightning within the next few hours (called nowcasting in meteorology) based on these features. In our evaluation section we compare the predictive power of the different models and the impact of different features on the classification result. Our results show a high accuracy of 96% for predictions over the next 15 minutes which slightly decreases with increasing forecast period but still remains above 83% for forecasts of up to five hours. The high false positive rate of nearly 6% however needs further investigation to allow for an operational use of our approach.

연구 동기 및 목표

• 위성 영상 데이터를 활용한 기계학습 기반 단기 번개 예측 신규 방법 개발
• 옵티컬 플로우 예측 오차가 번개를 유도하는 대류 개발을 탐지하는 의미 있는 특징이 될 수 있는지 조사
• 오차 기반 특징과 추가적인 위성 유도 특징을 사용한 트리 기반 분류기 및 신경망의 번개 전망 성능 평가
• 공간적 컨볼루션, 채널 다양성, 시간적 특징이 15분에서 5시간 예측 수준까지의 예측 정확도에 미치는 영향 평가
• 현재 운영 배포를 제한하는 주요 장애 요소인 높은 위양성 비율 문제 해결

제안 방법

• 핵심 방법은 연속된 위성 영상 간의 2차원 옵티컬 플로우를 계산하여 운동을 추정하고, 예측된 운동과 실제 운동 간의 잔차 오차(예측 오차)를 수직 운동과 대류의 대체 지표로 사용하는 것
• 이러한 옵티컬 플로우 오차는 큰 커널 크기를 가진 수동 컨볼루션 레이어를 거쳐 발달 중인 뇌우를 나타내는 공간 패턴을 포착함
• 옵티컬 플로우 오차 특징, 스펙트럼 채널에 따라 정규화된 특징, 시간대 및 지리적 위치와 같은 추가 기상 특징을 포함한 종합적 특징 세트 구성
• 이진 교차 엔트로피 손실과 조기 정지 기법을 사용하여 트리 기반 모델(RF, XGBoost)과 완전 연결 피드포워드 신경망(Leaky ReLU 및 시그모이드 활성화 함수 사용)을 훈련
• 신경망 훈련을 위해 특징을 [0,1] 범위로 정규화하고, 데이터 불균형 문제를 해결하기 위해 균형 잡힌 테스트 세트를 사용함. 과적합 위험을 피하기 위해 컨볼루션 신경망은 사용하지 않음
• 모델 평가는 15분에서 5시간 예측 오프셋까지의 정확도, AUC, ROC 곡선을 사용하며, 문헌상 이전 연구와의 결과 비교 수행

실험 결과

연구 질문

• RQ1 지정궤도 위성 영상에서 옵티컬 플로우 알고리즘의 예측 오차가 번개를 유도하는 대류 개발의 신뢰할 수 있는 지표가 될 수 있는가?
• RQ2 특히 큰 커널 크기를 가진 공간적 컨볼루션 전략이 번개 전망 모델의 예측 성능에 어떤 영향을 미치는가?
• RQ3 다중 스펙트럼 위성 채널과 보조 특징(예: 시간대, 위치)을 포함할 경우, 다양한 예측 수준에서 모델 정확도는 어느 정도 향상되는가?
• RQ4 이러한 낮은 데이터, 높은 불균형 환경에서 트리 기반 모델과 딥 신경망의 성능는 어떻게 비교되는가?
• RQ5 높은 전체 정확도에도 불구하고 위양성 비율이 여전히 높은 이유는 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• 가장 높은 성능를 보인 모델인 랜덤 포레스트(RF2)는 다음 15분 이내 번개 예측 정확도가 96%였으며, 5시간 예측에서는 83.87%로 감소함
• 큰 커널 크기를 가진 컨볼루션 사용이 모델 정확도를 크게 향상시켰으며, 특히 단기 예측에서 중요하게 작용함을 시사함. 이는 광범위한 대기 패턴을 포착하는 데의 중요성을 보여줌
• 오차 기반 특징 이외의 위성 특징(예: 밝기 온도 차이)을 포함시킴으로써 오차 전용 모델을 초월한 정확도 향상이 이루어졌으며, 15분 예측 시 최고의 96% 정확도 달성
• 신경망(NN1)은 경쟁력 있는 성능를 보였지만, 랜덤 포레스트 모델에 비해 떨어짐. 이는 이와 같은 높은 불균형, 낮은 데이터 환경에서 트리 기반 모델이 더 강건할 수 있음을 시사함
• RF2 모델의 두 시간 예측 오프셋에서의 AUC는 0.94였으며, 강력한 분류 능력을 보였고, 정밀도-재현율 균형 측면에서 이전 방법들을 뛰어넘음
• 높은 정확도에도 불구하고 위양성 비율은 약 6%로 유지되었으며, 저자들은 이를 운영 배포의 주요 장애 요소로 지목하고 향후 연구의 초점으로 삼음