[论文解读] A Bayes interpretation of stacking for M-complete and M-open settings

Tri Le, Bertrand Clarke|arXiv (Cornell University)|Feb 16, 2016

Bayesian Modeling and Causal Inference参考文献 11被引用 3

一句话总结

本文通过证明堆叠权重渐近最小化后验期望损失，为M-complete和M-open设定下的堆叠提供了贝叶斯解释，从而将交叉验证形式化为贝叶斯最优程序。它放宽了权重的标准正性与和为一的约束，并提出通过自助抽样生成数据驱动的基函数，以优化预测器的选择与加权。

ABSTRACT

In M-open problems where no true model can be conceptualized, it is common to back off from modeling and merely seek good prediction. Even in M-complete problems, taking a predictive approach can be very useful. Stacking is a model averaging procedure that gives a composite predictor by combining individual predictors from a list of models using weights that optimize a cross-validation criterion. We show that the stacking weights also asymptotically minimize a posterior expected loss. Hence we formally provide a Bayesian justification for cross-validation. Often the weights are constrained to be positive and sum to one. For greater generality, we omit the positivity constraint and relax the `sum to one' constraint. A key question is `What predictors should be in the average?' We first verify that the stacking error depends only on the span of the models. Then we propose using bootstrap samples from the data to generate empirical basis elements that can be used to form models. We use this in two computed examples to give stacking predictors that are (i) data driven, (ii) optimal with respect to the number of component predictors, and (iii) optimal with respect to the weight each predictor gets.

研究动机与目标

• 在M-complete和M-open统计设定下，将堆叠形式化为贝叶斯最优程序。
• 放宽堆叠权重的传统约束（正性与和为一），以增强一般性。
• 通过自助抽样生成的经验基元，开发一种数据驱动的方法以选择和加权预测器。
• 证明堆叠误差仅取决于模型的张成空间，从而实现与模型无关的优化。
• 为在预测建模中使用交叉验证作为后验期望损失最小化的代理提供理论依据。

提出的方法

• 推导出最小化后验期望损失与通过留一法交叉验证优化堆叠权重之间的渐近等价性。
• 通过移除正性和和为一的要求，放宽堆叠权重的标准约束，从而实现更灵活的优化。
• 使用自助重抽样生成代表候选模型张成空间的经验基元，从而实现数据驱动的模型构建。
• 应用定理3.7，证明堆叠误差仅取决于模型张成空间，而不依赖于所用的具体基函数。
• 在希尔伯特空间中运用正交分解与投影理论，证明最小堆叠误差在等价模型基之间保持不变。
• 利用杠杆值、残差与预测值之间的关系，在特定假设下推导出堆叠权重的闭式表达式。

实验结果

研究问题

• RQ1 堆叠能否在M-complete和M-open设定下被正式证明为贝叶斯最优程序？
• RQ2 放宽堆叠权重的约束（无正性或和为一）对预测性能与理论性质有何影响？
• RQ3 模型张成在决定堆叠误差中的作用是什么？如何利用它实现最优预测器构建？
• RQ4 基于自助抽样的经验基元能否改善堆叠中组件预测器的选择与加权？
• RQ5 留一法交叉验证在多大程度上近似于后验期望损失最小化？

主要发现

• 堆叠权重渐近最小化后验期望损失，为M-complete问题中交叉验证的使用提供了正式的贝叶斯解释。
• 堆叠误差仅取决于模型的张成空间，而不依赖于所用的具体基函数，这意味着模型选择可与基表示解耦。
• 当杠杆值渐近趋于零时，在残差与预测结构对称的条件下，堆叠权重收敛至相等权重（各为1/2）。
• 在和为二的约束下，若各模型预测方差相等，则权重相等（均为1），表明方法对约束变化具有适应性。
• 最小堆叠误差在相同模型张成空间的不同正交基之间保持不变，证明了其理论鲁棒性。
• 理论结果可推广至留k出交叉验证，支持交叉验证的贝叶斯解释具有更广泛的应用性。