[論文レビュー] Predicting Rainfall using Machine Learning Techniques

Nikhil Oswal|arXiv (Cornell University)|Oct 29, 2019

Hydrological Forecasting Using AI被引用数 15

ひとこと要約

本研究では、気象データを用いてオーストラリアの明日の降雨を予測するための複数の機械学習モデル—ロジスティック回帰、ランダムフォレスト、勾配ブースティング、その他のモデル—を評価している。勾配ブースティングは、さまざまなデータ前処理戦略において最も一貫した性能を示しており、特にアンダーサンプリングされたデータにおいて顕著である。一方、モデルの性能は、クラス不均衡の取り扱い方や特徴量選択に極めて敏感であることが判明した。

ABSTRACT

Rainfall prediction is one of the challenging and uncertain tasks which has a significant impact on human society. Timely and accurate predictions can help to proactively reduce human and financial loss. This study presents a set of experiments which involve the use of prevalent machine learning techniques to build models to predict whether it is going to rain tomorrow or not based on weather data for that particular day in major cities of Australia. This comparative study is conducted concentrating on three aspects: modeling inputs, modeling methods, and pre-processing techniques. The results provide a comparison of various evaluation metrics of these machine learning techniques and their reliability to predict the rainfall by analyzing the weather data.

研究の動機と目的

• オーストラリアにおける日次降雨予測のための多様な機械学習手法の有効性を評価すること。
• 欠損値の補完、特徴量選択、クラス不均衡の処理を含むデータ前処理の手法が、モデル性能に与える影響を調査すること。
• アンダーサンプリング、オーバーサンプリング、元のデータの各サンプリング戦略が、分類器の信頼性に与える影響を比較すること。
• 実世界の気象データを用いて、明日の降雨予測において、最もロバストで正確なモデルを同定すること。
• データ前処理からモデル評価に至るまでの一連の機械学習パイプラインを包括的に提供すること。

提案手法

• オーストラリアの観測所から得られた142,000件の日次気象観測データを用い、気温、湿度、風速、気圧などを含む23の特徴量を含む。
• 広範なデータ前処理を実施：グループ平均を用いた欠損値補完、カテゴリカル変数の特徴量ハッシュ化、特徴量スケーリング。
• 単変量統計的検定と相関ヒートマップを用いて特徴量選択を実施し、冗長または関連の薄い特徴量を除外。
• 複数の分類器を実装：ロジスティック回帰、決定木、KNN、ルールベースモデル、アンサンブル手法（ランダムフォレスト、勾配ブースティング）。
• ターゲット変数（RainTomorrow）のクラス不均衡に対処するため、アンダーサンプリング（SMOTE）とオーバーサンプリング（SMOTE）の両方を適用。
• 10分割交差検証を用いてモデルを評価し、正解率、適合率、再現率、F1スコア、AUC-ROCを指標とし、統計的比較のためのペアドt検定も実施。

実験結果

リサーチクエスチョン

• RQ1 オーストラリアの気象データを用いた場合、どの機械学習モデルが明日の降雨予測において最高の予測精度を達成するか？
• RQ2 サンプリング戦略（元のデータ、アンダーサンプリング、オーバーサンプリング）の選択が、異なる分類器の性能にどのように影響するか？
• RQ3 欠損値補完と特徴量選択を含むデータ前処理ステップが、モデルの信頼性に与える影響は何か？
• RQ4 正解率、F1スコア、AUCといった異なる評価指標が、同じモデルをどのようにランク付けするか。また、どの指標が現実世界の予測的実用性を最も適切に反映しているか？
• RQ5 ターゲット変数（RainTomorrow）におけるクラス不均衡が、モデル性能にどの程度歪みをもたらすか。また、効果的に是正する方法は何か？

主な発見

• 学習率0.25の勾配ブースティングは、元のデータセットで92.4％の正解率を達成し、他のモデルと比較して正解率とAUC-ROCの両面で優れていた。
• ロジスティック回帰はアンダーサンプリングデータセットで最も優れた性能を示し、正解率91.8％、AUC 0.89を記録。バランスの取れたデータに対して優れた汎化性能を示した。
• 決定木はオーバーサンプリングデータセットで最高の正解率92.1％を記録したが、過学習の兆候を示しており、学習データに対する高い性能にもかかわらず、汎化性能が低いことが示唆された。
• アンサンブルモデル、特に勾配ブースティングは、元のデータ、アンダーサンプリング、オーバーサンプリングの3つのデータ設定すべてにおいて一貫した性能を示し、データ分布の変化に対してロバストであることがわかった。
• 個々のモデルの性能は、データサンプリング戦略に大きく依存しており、例としてKNNはオーバーサンプリングデータで最も良く、アンダーサンプリングデータで最も悪かった。これは、モデルがデータバランスに極めて感受性を示すことを示している。
• RISK_MMといった特徴量は、ターゲット変数と直接関連しており、データ漏洩の原因となることが判明した。したがって、前処理段階で除外され、妥当なモデル評価を保証した。