[论文解读] Conditional AIC under Covariate Shift with Application to Small Area Prediction

Yuki Kawakubo, Shonosuke Sugasawa+1 more|arXiv (Cornell University)|Jan 1, 2014

Statistical Methods and Bayesian Inference参考文献 18被引用 2

一句话总结

本文提出了一种在协变量偏移条件下用于线性混合模型变量选择的条件AIC准则，将条件AIC扩展至处理训练集与预测集之间协变量分布不同的预测场景。该方法通过选择在分布偏移下泛化能力更强的固定效应，提升了小区域预测的性能，仿真研究已证实其有效性。

ABSTRACT

In this paper, we consider the problem of selecting explanatory variables of fixed effects in linear mixed models under covariate shift, which is the situation that the values of covariates in the predictive model are different from those in the observed model. We construct a variable selection criterion based on the conditional Akaike information introduced by Vaida and Blanchard (2005) and the proposed criterion is generalization of the conditional Akaike information criterion (conditional AIC) in terms of covariate shift. We especially focus on covariate shift in small area prediction and show usefulness of the proposed criterion through simulation studies.

研究动机与目标

• 解决在预测情境中协变量分布与观测数据中不一致（协变量偏移）时线性混合模型中的变量选择问题。
• 将条件AIC准则扩展以考虑协变量分布偏移，特别是在小区域预测场景中。
• 通过选择在协变量分布偏移下泛化能力更强的固定效应，提升预测性能。
• 为混合效应模型在协变量偏移条件下的模型选择提供理论基础充分且经验验证可靠的准则。

提出的方法

• 通过基于预测协变量分布重新加权似然贡献，将条件赤信息准则（cAIC）框架适配协变量偏移。
• 推导一种广义的条件AIC准则，以调整观测协变量分布与预测协变量分布之间的差异。
• 利用经验贝叶斯对随机效应的估计，计算在分布偏移下的条件似然。
• 将所提准则应用于线性混合模型中固定效应的选择，优先选择在协变量偏移下预测风险最小的模型。
• 采用偏差校正的条件对数似然近似，以确保变量选择的稳定性。
• 通过在小区域预测中控制协变量偏移场景下的仿真研究验证该准则。

实验结果

研究问题

• RQ1 如何将条件AIC准则调整以处理预测时协变量分布与训练数据中不一致的变量选择问题？
• RQ2 与标准cAIC相比，所提出的准则在协变量偏移条件下是否能提升小区域预测性能？
• RQ3 协变量偏移对固定效应选择有何影响？模型选择准则应如何调整以缓解此影响？
• RQ4 在各种偏移模式下，所提准则在预测准确性和变量选择一致性方面表现如何？

主要发现

• 当训练集与预测集的协变量分布不同时，所提出的协变量偏移条件AIC准则在预测准确性方面优于标准cAIC。
• 该方法即使在协变量分布发生偏移时，也能有效识别出相关固定效应，降低小区域估计中的预测偏差。
• 仿真研究证实，该准则在不同程度的协变量偏移下均保持良好的变量选择性能。
• 所提准则为在分布偏移条件下小区域预测中的模型选择提供了稳定且一致的方法。