[论文解读] Forecast-Aware Model Driven LSTM

Sophia Hamer, Jennifer Sleeman+1 more|arXiv (Cornell University)|Mar 23, 2023

Air Quality Monitoring and ForecastingEnvironmental Science被引用 3

一句话总结

本文提出一种预测感知的、基于聚类的双向LSTM模型，用于在业务化空气质量预报中进行偏差校正，通过无监督聚类站点地理和城市化特征对数据进行分区，并训练区域特定的LSTM模型。与基础模型相比，该方法将臭氧预报均方根误差（RMSE）降低了27%（3.14 ppb），当在聚类中包含高程信息时，性能进一步提升。

ABSTRACT

Poor air quality can have a significant impact on human health. The National Oceanic and Atmospheric Administration (NOAA) air quality forecasting guidance is challenged by the increasing presence of extreme air quality events due to extreme weather events such as wild fires and heatwaves. These extreme air quality events further affect human health. Traditional methods used to correct model bias make assumptions about linearity and the underlying distribution. Extreme air quality events tend to occur without a strong signal leading up to the event and this behavior tends to cause existing methods to either under or over compensate for the bias. Deep learning holds promise for air quality forecasting in the presence of extreme air quality events due to its ability to generalize and learn nonlinear problems. However, in the presence of these anomalous air quality events, standard deep network approaches that use a single network for generalizing to future forecasts, may not always provide the best performance even with a full feature-set including geography and meteorology. In this work we describe a method that combines unsupervised learning and a forecast-aware bi-directional LSTM network to perform bias correction for operational air quality forecasting using AirNow station data for ozone and PM2.5 in the continental US. Using an unsupervised clustering method trained on station geographical features such as latitude and longitude, urbanization, and elevation, the learned clusters direct training by partitioning the training data for the LSTM networks. LSTMs are forecast-aware and implemented using a unique way to perform learning forward and backwards in time across forecasting days. When comparing the RMSE of the forecast model to the RMSE of the bias corrected model, the bias corrected model shows significant improvement (27\% lower RMSE for ozone) over the base forecast.

研究动机与目标

• 应对野火和热浪等极端空气质量事件日益增多所带来的挑战，这些事件会干扰传统线性偏差校正方法的性能。
• 通过校正美国国家海洋和大气管理局（NOAA）模型输出中臭氧和PM2.5的系统性偏差，提升业务化空气质量预报的准确性。
• 通过基于地理和城市化特征的无监督聚类方法对训练数据进行分区，克服单一深度学习模型的局限性。
• 通过区域特定的、预测感知的双向LSTM实现更好的泛化能力与对区域性和极端事件的敏感性。
• 开发一种可扩展、模块化的深度学习框架，兼容业务化预报系统，并适用于未来高分辨率的AI驱动模型。

提出的方法

• 对包括纬度、经度、高程和城市化在内的站点特征应用无监督K均值聚类，将地理和气候相似的监测站点分组。
• 为每个聚类单独训练双向LSTM，实现在保持预报任务全局一致性的同时实现本地化学习。
• 实施一种预测感知的训练策略，同时从前向和后向时间处理序列，以捕捉长期时间依赖关系。
• 采用三重架构，其中LSTM的输入为预报时段，输出为AirNow站点对应的实测观测值。
• 通过经验评估优化聚类数量（K），结果表明K=25在臭氧和PM2.5预报中均取得最佳性能。
• 将LSTM性能与基于GRU的变体进行比较，以评估训练时间与预测准确率之间的权衡。

实验结果

研究问题

• RQ1 与传统统计方法相比，基于聚类的、预测感知的双向LSTM是否能提升业务化空气质量预报中的偏差校正效果？
• RQ2 在聚类中引入地理和城市化特征，如何影响模型的泛化能力与预报误差的降低能力？
• RQ3 在区域空气质量预报中，为平衡模型复杂度与性能，最优聚类数（K）是多少？
• RQ4 预测感知训练机制是否能提升在信号微弱或缺失的极端空气质量事件中的性能表现？
• RQ5 与单站模型和基于GRU的替代方案相比，该LSTM方法在性能和训练效率方面表现如何？

主要发现

• 基于聚类的预测感知LSTM相比基础模型，将臭氧预报均方根误差（RMSE）降低了3.14 ppb（提升27%），其中K=25时性能最佳。
• 在聚类特征中包含高程信息时，臭氧预报的RMSE降低最大（3.27 ppb），优于不包含高程的组合方案。
• 单站LSTM模型实现了最高的降低幅度（3.60 ppb），但需要训练271个独立模型，凸显了性能与可扩展性之间的权衡。
• 将LSTM替换为GRU后，训练时间减少10小时，但RMSE改善降低0.07 ppb，表明存在性能与效率之间的权衡。
• PM2.5预报的RMSE降低了1.945 ppb，证明该方法在多种污染物上的有效性。
• 即使未在特定站点（如60793001号站点）上显式训练，模型在该站点上仍保持良好性能，表明其在聚类间具有良好的泛化能力。