[论文解读] Improving predictions by nonlinear regression models from outlying input data

William W. Hsieh|arXiv (Cornell University)|Mar 17, 2020

Hydrological Forecasting Using AI被引用 5

一句话总结

本文提出了一种混合非线性回归模型（NLR_OR），通过用非线性模型在训练域内的行为所导出的线性外推替代不可靠的非线性外推，从而提高环境科学中异常输入数据的预测可靠性。该方法显著减少了对异常值的不良预测，同时在内点数据上保持了强劲的性能。

ABSTRACT

When applying machine learning/statistical methods to the environmental sciences, nonlinear regression (NLR) models often perform only slightly better and occasionally worse than linear regression (LR). The proposed reason for this conundrum is that NLR models can give predictions much worse than LR when given input data which lie outside the domain used in model training. Continuous unbounded variables are widely used in environmental sciences, whence not uncommon for new input data to lie far outside the training domain. For six environmental datasets, inputs in the test data were classified as "outliers" and "non-outliers" based on the Mahalanobis distance from the training input data. The prediction scores (mean absolute error, Spearman correlation) showed NLR to outperform LR for the non-outliers, but often underperform LR for the outliers. An approach based on Occam's Razor (OR) was proposed, where linear extrapolation was used instead of nonlinear extrapolation for the outliers. The linear extrapolation to the outlier domain was based on the NLR model within the non-outlier domain. This NLR$_{\mathrm{OR}}$ approach reduced occurrences of very poor extrapolation by NLR, and it tended to outperform NLR and LR for the outliers. In conclusion, input test data should be screened for outliers. For outliers, the unreliable NLR predictions can be replaced by NLR$_{\mathrm{OR}}$ or LR predictions, or by issuing a "no reliable prediction" warning.

研究动机与目标

• 解决非线性回归（NLR）模型在预测远超出训练域范围的输入数据时表现不佳的问题。
• 利用训练数据分布的马氏距离识别并隔离异常测试输入。
• 通过基于NLR模型在内点区域行为的线性外推，提高异常值预测的可靠性。
• 提出一种实用框架，用于检测不可靠预测，并在输入为异常值时发出警告或启用备用方案。
• 证明混合NLR_OR方法在异常值测试案例中优于纯NLR和线性回归（LR）模型。

提出的方法

• 使用相对于训练输入数据分布的马氏距离，对测试数据中的异常值进行检测。
• NLR_OR模型对被分类为异常值的输入应用线性外推，该外推基于NLR模型在内点区域内的拟合参数。
• 线性外推部分仅在训练数据的非异常值部分上进行训练，以确保其反映NLR模型的局部趋势。
• 使用平均绝对误差（MAE）和斯皮尔曼等级相关系数评估预测性能，比较NLR、LR和NLR_OR在内点与异常值子集上的表现。
• 在六个具有连续、无界输入变量且易出现极端值的环境数据集上验证该方法。
• 当未使用NLR_OR作为备用方案时，对异常值发出“无可靠预测”的警告。

实验结果

研究问题

• RQ1 非线性回归模型在远离训练输入域的测试输入上表现如何？
• RQ2 基于非线性模型在内点区域行为的线性外推，能否提高异常输入的预测可靠性？
• RQ3 与标准NLR相比，所提出的NLR_OR方法是否减少了异常数据上极差预测的发生频率？
• RQ4 在异常值测试案例中，NLR_OR模型与NLR和线性回归相比，预测准确性如何？
• RQ5 在何种条件下，应将NLR预测替换为线性外推或发出警告？

主要发现

• 对于非异常值测试输入，NLR在平均绝对误差和斯皮尔曼等级相关系数方面始终优于线性回归。
• 对于异常值测试输入，NLR的预测性能往往显著差于线性回归，表明其外推行为不可靠。
• NLR_OR方法通过用基于NLR模型内点区域的线性外推替代非线性外推，减少了异常值上极差预测的发生。
• NLR_OR在异常值测试数据上通常优于NLR和LR，表现出对异常输入更强的鲁棒性。
• 本研究证实，应对输入数据进行异常值筛查，对这类数据上的不可靠NLR预测应予以替换或标记。
• 该方法为环境建模中输入变量频繁超出训练域边界的情况，提供了一种实用的提升预测可靠性的解决方案。