[论文解读] Minimax Optimal Bayesian Aggregation

Yun Yang, David B. Dunson|arXiv (Cornell University)|Mar 6, 2014

Advanced Statistical Methods and Models参考文献 23被引用 16

一句话总结

本文提出一种基于狄利克雷先验的极小化极大最优贝叶斯聚合方法，用于回归中的凸组合与线性组合估计器，该方法在M-闭合与M-开放设定下均实现了最优后验集中率。该方法无需调参，可自适应于稀疏性，并在真实模型位于模型空间之外时，一致地以极小化极大速率逼近最优近似模型。

ABSTRACT

It is generally believed that ensemble approaches, which combine multiple algorithms or models, can outperform any single algorithm at machine learning tasks, such as prediction. In this paper, we propose Bayesian convex and linear aggregation approaches motivated by regression applications. We show that the proposed approach is minimax optimal when the true data-generating model is a convex or linear combination of models in the list. Moreover, the method can adapt to sparsity structure in which certain models should receive zero weights, and the method is tuning parameter free unlike competitors. More generally, under an M-open view when the truth falls outside the space of all convex/linear combinations, our theory suggests that the posterior measure tends to concentrate on the best approximation of the truth at the minimax rate. We illustrate the method through simulation studies and several applications.

研究动机与目标

• 开发一种贝叶斯聚合框架，使其在M-闭合与M-开放设定下均能实现后验集中率的极小化极大最优。
• 通过消除对调参的依赖并实现模型权重稀疏性的自动适应，解决现有贝叶斯模型平均方法的局限性。
• 提供一种理论基础坚实、无需调参的方法，即使真实数据生成模型位于候选模型的凸包或线性张量之外，也能自适应于真实数据生成模型。
• 将贝叶斯聚合扩展至稀疏设定，仅对部分模型赋予权重，且稀疏程度由数据自动学习。

提出的方法

• 在权重向量 λ 上提出狄利克雷聚合（DA）先验，其中 λ_j = T_j / (T_1 + ... + T_M)，且 T_j ~ Gamma(ρ, 1)，以支持高效的MCMC采样。
• 采用块MCMC算法，对 φ（精度）使用吉布斯采样，对 log T_j 使用梅特罗波利斯-黑斯廷斯（Metropolis-Hastings）更新，以探索权重的后验分布。
• 对于线性聚合，通过引入潜变量扩展先验：z_j ~ Bernoulli(0.5) 与 A ~ Gamma(c_0, d_0)，以实现对 λ_j 的符号与尺度调整。
• 通过MH更新A与z_j，实现稀疏选择，其中z_j控制模型j的包含/排除。
• 采用对数接受率，结合对数似然、对数先验与对数转移概率项，以实现高效的MCMC更新。
• 该方法被设计为能自动学习稀疏性（||λ||_0 = s），并实现无需用户指定调参的极小化极大最优后验集中率。

实验结果

研究问题

• RQ1 当真实模型为候选模型的凸组合或线性组合时，贝叶斯聚合方法是否能实现回归中极小化极大最优的后验集中率？
• RQ2 当真实模型位于候选模型的凸包或线性张量之外（即M-开放设定）时，所提出的贝叶斯聚合方法表现如何？
• RQ3 该方法是否能在不预先指定稀疏性水平的情况下自适应于模型权重的稀疏性？
• RQ4 该方法是否在实现最优频派风险率的同时完全无需调参？

主要发现

• 所提出的狄利克雷聚合方法在M-闭合与M-开放设定下，均实现了凸聚合与线性聚合空间的极小化极大最优后验集中率。
• 在M-开放设定下，即使真实模型不在模型空间中，后验仍能以极小化极大速率集中在真实模型的最佳近似上。
• 该方法能自适应于未知的稀疏性水平，自动为无关模型分配零权重，且无需调参。
• 理论分析证实，后验测度会收敛至真实模型的极小化极大最优近似，且无需用户指定超参数。
• 模拟研究与实际应用表明，该方法具有强鲁棒性，且性能优于现有聚合技术。
• MCMC实现高效且稳定，通过MH更新中的自适应缩放，保持约40%的接受率。