[论文解读] A Locally Adaptive Interpretable Regression

Lkhagvadorj Munkhdalai, Tsendsuren Munkhdalai+1 more|arXiv (Cornell University)|May 7, 2020

Explainable Artificial Intelligence (XAI)参考文献 18被引用 5

一句话总结

本文提出 LoAIR，一种局部自适应的可解释回归模型，通过使用深度神经网络元学习器预测回归系数的高斯临界值，增强线性回归，实现快速、置信区间感知的自适应。该方法在保持可解释性的同时，提升了标准 OLS 和最先进基线模型的预测性能，通过揭示 CO2 排放与 GNP 之间的抛物线关系得到验证。

ABSTRACT

Machine learning models with both good predictability and high interpretability are crucial for decision support systems. Linear regression is one of the most interpretable prediction models. However, the linearity in a simple linear regression worsens its predictability. In this work, we introduce a locally adaptive interpretable regression (LoAIR). In LoAIR, a metamodel parameterized by neural networks predicts percentile of a Gaussian distribution for the regression coefficients for a rapid adaptation. Our experimental results on public benchmark datasets show that our model not only achieves comparable or better predictive performance than the other state-of-the-art baselines but also discovers some interesting relationships between input and target variables such as a parabolic relationship between CO2 emissions and Gross National Product (GNP). Therefore, LoAIR is a step towards bridging the gap between econometrics, statistics, and machine learning by improving the predictive ability of linear regression without depreciating its interpretability.

研究动机与目标

• 解决线性回归中预测准确性与可解释性之间的权衡问题。
• 开发一种在不牺牲模型透明度的前提下，实现局部自适应回归系数的方法。
• 利用深度神经网络实现快速、置信区间约束的系数自适应。
• 在保持可解释性的同时，从真实世界数据中发现非线性关系。
• 通过混合可解释模型弥合计量经济学、统计学与机器学习之间的差距。

提出的方法

• 基于深度神经网络的元学习器，为每个回归系数预测来自高斯分布的百分位数值。
• 元学习器利用 OLS 的标准误，在置信区间内自适应调整系数。
• 自适应后的系数被重构为新的回归方程，保持无偏性与可解释性。
• 通过将系数更新限制在统计显著性边界内，避免过拟合。
• 该框架允许局部、实例特定的自适应，而无需存储完整训练数据集。
• 该方法端到端训练，元学习器学习根据输入特征调整系数。

实验结果

研究问题

• RQ1 元学习框架能否在不损失可解释性的情况下提升线性回归的预测性能？
• RQ2 该模型在真实世界数据中发现非线性关系（如环境库兹涅茨曲线）的能力如何？
• RQ3 局部自适应系数机制在 RMSE 和可解释性方面是否优于标准 OLS 和深度学习基线？
• RQ4 该模型能否有效捕捉并表示输入变量与目标变量之间的抛物线关系？
• RQ5 元学习器在多样化回归基准上的泛化能力提升程度如何？

主要发现

• LoAIR 在 10 个公开数据集上实现了与最先进基线模型相当或更优的预测性能，RMSE 值始终低于或与 OLS 和深度学习模型持平。
• 在 CO2 排放与 GNP 数据集上，LoAIR 的 RMSE 分别为 0.591（线性项）和 0.593（二次项），略优于 OLS（分别为 0.607 和 0.598）。
• 该模型成功揭示了 CO2 排放与 GNP 之间的抛物线关系，与环境库兹涅茨曲线假说一致。
• 可视化结果证实，GNP 对 CO2 排放的影响呈抛物线趋势，排放量在 GNP 水平约为 9.16 时达到峰值。
• 引入二次项后，OLS 的 R-squared 从 0.839 提升至 0.85，而 LoAIR 在保持高可解释性的同时捕捉到了这一非线性模式。
• LoAIR 表明，通过元学习的系数自适应，可解释性与预测能力可同时增强。