[論文レビュー] Forecast-Aware Model Driven LSTM

Sophia Hamer, Jennifer Sleeman+1 more|arXiv (Cornell University)|Mar 23, 2023

Air Quality Monitoring and ForecastingEnvironmental Science被引用数 3

ひとこと要約

本稿では、運航的空気質予測におけるバイアス補正のため、予測に適応したクラスターベースの双方向LSTMモデルを提案する。地理的および都市化要因の非教師付きクラスタリングを用いてデータを分割し、地域別に特化したLSTMを学習する。ベースモデルと比較して、オゾン予測のRMSEを27%（3.14 ppb）低減し、クラスタリングに標高を含めることでさらなる改善が得られた。

ABSTRACT

Poor air quality can have a significant impact on human health. The National Oceanic and Atmospheric Administration (NOAA) air quality forecasting guidance is challenged by the increasing presence of extreme air quality events due to extreme weather events such as wild fires and heatwaves. These extreme air quality events further affect human health. Traditional methods used to correct model bias make assumptions about linearity and the underlying distribution. Extreme air quality events tend to occur without a strong signal leading up to the event and this behavior tends to cause existing methods to either under or over compensate for the bias. Deep learning holds promise for air quality forecasting in the presence of extreme air quality events due to its ability to generalize and learn nonlinear problems. However, in the presence of these anomalous air quality events, standard deep network approaches that use a single network for generalizing to future forecasts, may not always provide the best performance even with a full feature-set including geography and meteorology. In this work we describe a method that combines unsupervised learning and a forecast-aware bi-directional LSTM network to perform bias correction for operational air quality forecasting using AirNow station data for ozone and PM2.5 in the continental US. Using an unsupervised clustering method trained on station geographical features such as latitude and longitude, urbanization, and elevation, the learned clusters direct training by partitioning the training data for the LSTM networks. LSTMs are forecast-aware and implemented using a unique way to perform learning forward and backwards in time across forecasting days. When comparing the RMSE of the forecast model to the RMSE of the bias corrected model, the bias corrected model shows significant improvement (27\% lower RMSE for ozone) over the base forecast.

研究の動機と目的

• 野火や干ばつなど、極端な空気質イベントの増加に伴い、従来の線形バイアス補正手法が機能しなくなる課題に対処する。
• NOAAのモデル出力におけるオゾンおよびPM2.5の系統的バイアスを補正することで、運用的空気質予測の精度を向上させる。
• 地理的および都市化特徴の非教師付きクラスタリングを用いて訓練データを分割することで、統合的深層学習モデルの限界を克服する。
• 地域的および極端な事象に敏感な、地域別に特化した予測に適応した双方向LSTMを用いることで、一般化性能の向上を実現する。
• 運用予測システムおよび将来の高解像度AI駆動モデルと互換性のあるスケーラブルでモジュラーな深層学習フレームワークの開発

提案手法

• 緯度、経度、標高、都市化度といったステーション特徴量を用いて非教師付きK-meansクラスタリングを実行し、地理的および気候的に類似したモニタリングサイトをグループ化する。
• 各クラスタに対して個別の双方向LSTMを学習させ、地域特化型の学習を可能にすると同時に、予測タスク全体におけるグローバルな整合性を維持する。
• 時間軸に沿って前向きおよび後向きに順序を処理する予測に適応した学習戦略を実装し、長期的な時系列依存性を捉える。
• LSTMの入力が予測インターバル、出力がAirNowステーションからの対応する真値観測値である三重構造アーキテクチャを採用する。
• K（クラスタ数）の最適化は経験的評価により実施され、オゾンおよびPM2.5予測の両方でK=25が最良のパフォーマンスを示した。
• LSTMの性能をGRUベースの変種と比較し、学習時間と予測精度のトレードオフを評価する。

実験結果

リサーチクエスチョン

• RQ1 クラスターベースで予測に適応した双方向LSTMは、従来の統計的手法と比較して、運用的空気質予測におけるバイアス補正を改善できるか？
• RQ2 地理的および都市化特徴をクラスタリングに組み込むことで、モデルの一般化能力と予測誤差低減能力にどのような影響を与えるか？
• RQ3 地域空気質予測において、モデルの複雑さとパフォーマンスのバランスを取る最適なクラスタ数（K）は何か？
• RQ4 予測に適応した学習メカニズムは、信号が弱いか欠落している極端な空気質事象において性能を向上させるか？
• RQ5 単一ステーションモデルおよびGRUベースの代替手法と比較して、LSTMベースのアプローチは性能および学習効率の面でどのように差をつけるか？

主な発見

• クラスターベースの予測に適応したLSTMは、ベースモデルと比較してオゾン予測のRMSEを3.14 ppb（27%の改善）低減した。K=25が最良のパフォーマンスを示した。
• クラスタリング特徴に標高を含めることで、オゾン予測のRMSE低減が最大（3.27 ppb）となり、標高を含まない組み合わせを上回った。
• 単一ステーションLSTMモデルは最大の低減（3.60 ppb）を達成したが、271個の別個モデルを学習する必要があり、性能とスケーラビリティのトレードオフが顕著に現れた。
• LSTMをGRUに置き換えることで学習時間を10時間短縮したが、RMSE改善量は0.07 ppb減少し、性能と効率のトレードオフが確認された。
• PM2.5予測ではRMSEが1.945 ppb低減し、複数の汚染物質にわたり本手法の有効性が裏付けられた。
• 特にステーション60793001のような個々のステーションに対しても、明示的にそれらのステーションで学習していないにもかかわらず、強力な性能を維持した。これは、クラスタ間での効果的な一般化が実現していることを示している。