[논문 리뷰] Predicting Rainfall using Machine Learning Techniques

Nikhil Oswal|arXiv (Cornell University)|2019. 10. 29.

Hydrological Forecasting Using AI인용 수 15

한 줄 요약

이 연구는 호주 기상 데이터를 사용하여 내일의 강수량을 예측하기 위해 다수의 기계학습 모델—로지스틱 회귀, 랜덤 포레스트, 그래디언트 부스팅 등—을 평가한다. 그 결과 그래디언트 부스팅은 특히 데이터 수감 전처리 전략에서 가장 일관되게 성능을 발휘하는 것으로 나타났으며, 클래스 불균형 처리 및 특성 선택이 모델 성능에 매우 민감하게 영향을 준다.

ABSTRACT

Rainfall prediction is one of the challenging and uncertain tasks which has a significant impact on human society. Timely and accurate predictions can help to proactively reduce human and financial loss. This study presents a set of experiments which involve the use of prevalent machine learning techniques to build models to predict whether it is going to rain tomorrow or not based on weather data for that particular day in major cities of Australia. This comparative study is conducted concentrating on three aspects: modeling inputs, modeling methods, and pre-processing techniques. The results provide a comparison of various evaluation metrics of these machine learning techniques and their reliability to predict the rainfall by analyzing the weather data.

연구 동기 및 목표

• 호주의 일일 강우 예측에 다양한 기계학습 기법의 효과를 평가하는 것.
• 결측치 처리, 특성 선택, 클래스 불균형 처리와 같은 데이터 전처리 방법이 모델 성능에 미치는 영향을 조사하는 것.
• 원본 데이터, 수감(undersampling), 과도표본화(oversampling)와 같은 다양한 샘플링 전략이 분류기 신뢰도에 미치는 영향을 비교하는 것.
• 실제 기상 데이터를 기반으로 내일의 강우 예측에 가장 강력하고 정확한 모델을 특정하는 것.
• 데이터 전처리부터 모델 평가까지의 종합적인 엔드 투 엔드 기계학습 파이프라인을 제공하는 것.

제안 방법

• 호주 기상관측소에서 수집한 142,000건의 일일 기상 관측 데이터를 사용하였으며, 기온, 습도, 풍속, 기압 등을 포함한 23개의 특성 포함.
• 광범위한 데이터 전처리 적용: 그룹 평균을 이용한 결측치 보간, 고유 범주형 변수에 대한 특성 해싱, 특성 스케일링.
• 단변량 통계적 검정과 상관행렬 히트맵을 활용한 특성 선택을 통해 중복되거나 관련성이 없는 특성 제거.
• 다양한 분류기 구현: 로지스틱 회귀, 의사결정나무, KNN, 규칙 기반 모델, 앙상블 방법(랜덤 포레스트, 그래디언트 부스팅).
• 목표 변수(RainTomorrow)의 클래스 불균형을 해결하기 위해 수감(SMOTE) 및 과도표본화(SMOTE) 기법을 적용.
• 정확도, 정밀도, 재현도, F1 점수, AUC-ROC를 포함한 평가 지표를 사용한 10겹 교차검증을 실시하였으며, 통계적 비교를 위해 대응 t-검정을 수행.

실험 결과

연구 질문

• RQ1 호주의 기상 데이터를 사용할 때 어떤 기계학습 모델이 내일의 강우 예측 정확도를 가장 높게 달성하는가?
• RQ2 샘플링 전략(원본, 수감, 과도표본화)의 선택이 다양한 분류기 성능에 어떤 영향을 미치는가?
• RQ3 결측치 보간 및 특성 선택과 같은 데이터 전처리 단계가 모델 신뢰도에 어떤 영향을 미치는가?
• RQ4 정확도, F1 점수, AUC와 같은 다양한 평가 지표가 동일한 모델을 어떻게 순위 매기는가? 어떤 지표가 실제 세계의 예측 유용성과 가장 잘 부합하는가?
• RQ5 목표 변수(RainTomorrow)의 클래스 불균형이 모델 성능을 얼마나 왜곡시키며, 이를 효과적으로 완화할 수 있는가?

주요 결과

• 학습률 0.25를 가진 그래디언트 부스팅은 원본 데이터에서 가장 높은 정확도(92.4%)를 기록했으며, 정확도와 AUC-ROC 모두에서 다른 모델을 압도했다.
• 로지스틱 회귀는 수감된 데이터에서 가장 뛰어난 성능을 보였으며, 정확도 91.8%와 AUC 0.89를 기록하여 균형 잡힌 데이터에서 뛰어난 일반화 능력을 보였다.
• 의사결정나무는 과도표본화된 데이터에서 가장 높은 정확도(92.1%)를 기록했지만, 과적합의 징후를 보였으며, 이는 훈련 데이터에 대한 높은 성능에도 불구하고 일반화 능력이 열 劣한 것을 시사한다.
• 앙상블 모델, 특히 그래디언트 부스팅은 원본, 수감, 과도표본화 데이터 세 가지 구성 모두에서 일관된 성능을 보였으며, 데이터 분포 변화에 대한 강건성을 입증했다.
• 모델의 성능은 샘플링 전략에 따라 크게 달라졌다. 예를 들어 KNN은 과도표본화된 데이터에서 가장 잘 작동했고, 수감된 데이터에서는 가장 열 劣한 성능을 보였다. 이는 모델이 데이터 균형에 매우 민감함을 시사한다.
• RISK_MM과 같은 특성들은 목표 변수와 직접적으로 관련되어 있어 유출(leaky)으로 간주되었으며, 데이터 유출을 방지하고 유효한 모델 평가를 보장하기 위해 전처리 단계에서 제거되었다.