[论文解读] Stable Prediction with Model Misspecification and Agnostic Distribution Shift

Kun Kuang, Ruoxuan Xiong+3 more|arXiv (Cornell University)|Jan 31, 2020

Domain Adaptation and Few-Shot Learning参考文献 16被引用 5

一句话总结

本文提出了一种新型算法——去相关加权回归（DWR），通过联合优化变量去相关与加权回归，在模型误设和未知分布偏移的情况下，提升参数估计的准确性与预测的稳定性。DWR 通过重新加权训练数据以实现特征去相关，在分布偏移较大时，显著优于基线方法，在合成数据与真实世界空气质量预测任务中均表现出优越的稳定性。

ABSTRACT

For many machine learning algorithms, two main assumptions are required to guarantee performance. One is that the test data are drawn from the same distribution as the training data, and the other is that the model is correctly specified. In real applications, however, we often have little prior knowledge on the test data and on the underlying true model. Under model misspecification, agnostic distribution shift between training and test data leads to inaccuracy of parameter estimation and instability of prediction across unknown test data. To address these problems, we propose a novel Decorrelated Weighting Regression (DWR) algorithm which jointly optimizes a variable decorrelation regularizer and a weighted regression model. The variable decorrelation regularizer estimates a weight for each sample such that variables are decorrelated on the weighted training data. Then, these weights are used in the weighted regression to improve the accuracy of estimation on the effect of each variable, thus help to improve the stability of prediction across unknown test data. Extensive experiments clearly demonstrate that our DWR algorithm can significantly improve the accuracy of parameter estimation and stability of prediction with model misspecification and agnostic distribution shift.

研究动机与目标

• 解决训练与测试数据分布不一致且模型误设时预测不稳定的问题。
• 开发一种方法，确保在未知测试环境中实现稳定的参数估计与预测性能，且无需事先了解测试数据。
• 处理稳定特征（与结果有因果关系）与不稳定特征（相关但非因果）共存的情况，其中后者的相关性在不同环境中发生变化。
• 提出一个统一框架，联合优化去相关与回归，以消除由分布偏移引发的虚假相关性。
• 实现在医疗或环境科学等现实场景中的可靠预测，其中数据分布因地区或机构而异。

提出的方法

• 引入一种变量去相关正则化项，通过估计样本权重，使加权训练数据中的特征彼此不相关。
• 在加权回归模型中使用估计出的权重，以改善每个特征真实效应的估计，降低因遗漏非线性项或交互项带来的偏差。
• 通过两阶段学习过程，联合优化去相关正则化项与加权回归目标。
• 将优化问题公式化为：在最小化预测误差的同时，强制加权训练集中预测变量之间实现去相关。
• 将该方法应用于具有受控分布偏移的合成数据以及来自美国10个州的真实空气质量数据，以评估其稳定性。
• 使用分布距离（协变量均值差异）作为度量，量化训练与测试环境之间的分布偏移程度。

实验结果

研究问题

• RQ1 当同时存在模型误设与分布偏移时，模型是否能在未知测试环境中实现稳定预测？
• RQ2 所提出的 DWR 方法在未知分布偏移与模型误设条件下，如何提升参数估计的准确性？
• RQ3 DWR 在不同数据分布下，相较于 OLS 与 Lasso 等标准基线方法，在预测稳定性方面有多大的提升？
• RQ4 超参数 λ₂ 的选择如何影响 DWR 中估计准确性与稳定性的权衡？
• RQ5 当分布偏移较大时，DWR 是否仍能保持优越性能，即使在小偏移下表现略逊于基线？

主要发现

• DWR 显著提升了在未知测试环境中的预测稳定性，尤其在分布偏移较大时，其稳定性误差指标显著优于 OLS 与 Lasso。
• 在来自美国10个州的真实空气质量数据上，随着训练集与测试集之间分布距离的增加，DWR 的性能超越了所有基线方法。
• 当分布距离较小时，DWR 的性能略逊于基线方法，这是由于引入了额外方差，但随着分布偏移增大，其性能迅速提升。
• DWR 的平均误差在所有测试州中均保持较低且稳定，表明其在不同分布下具备稳健的估计准确性。
• DWR 的稳定性误差始终低于所有基线方法，证明其在处理跨环境不稳定相关性方面的有效性。
• 最优超参数 λ₂ 位于 10 以下；当 λ₂ > 10 时性能略有下降，表明正则化强度存在清晰的权衡。