[论文解读] Catching Up Faster by Switching Sooner: A Prequential Solution to the AIC-BIC Dilemma

Tim van Erven, Peter Grünwald+1 more|ArXiv.org|Jul 7, 2008

Gaussian Processes and Bayesian Inference参考文献 37被引用 15

一句话总结

本文通过引入开关分布（switch distribution）解决了AIC-BIC困境，提出一种预序列（MDL风格）方法，结合贝叶斯一致性与AIC类的最优收敛速率。通过将模型切换建模为隐马尔可夫过程，该方法在不牺牲一致性的前提下实现更快的预测收敛，非参数设定下达到最优速率。

ABSTRACT

Bayesian model averaging, model selection and its approximations such as BIC are generally statistically consistent, but sometimes achieve slower rates og convergence than other methods such as AIC and leave-one-out cross-validation. On the other hand, these other methods can br inconsistent. We identify the "catch-up phenomenon" as a novel explanation for the slow convergence of Bayesian methods. Based on this analysis we define the switch distribution, a modification of the Bayesian marginal distribution. We show that, under broad conditions,model selection and prediction based on the switch distribution is both consistent and achieves optimal convergence rates, thereby resolving the AIC-BIC dilemma. The method is practical; we give an efficient implementation. The switch distribution has a data compression interpretation, and can thus be viewed as a "prequential" or MDL method; yet it is different from the MDL methods that are usually considered in the literature. We compare the switch distribution to Bayes factor model selection and leave-one-out cross-validation.

研究动机与目标

• 解决模型选择中统计一致性（BIC、贝叶斯）与快速收敛速率（AIC、LOO）之间的根本权衡。
• 解释为何在非参数设定下贝叶斯方法收敛缓慢——即‘追赶现象’：简单模型最初表现更优，随后被复杂模型超越。
• 提出一种新方法，在保持贝叶斯一致性的同时，实现AIC与留一法交叉验证的最优收敛速率。
• 提供一种实用且高效的算法，用于在序列预测与模型选择任务中实现开关分布。

提出的方法

• 将贝叶斯边缘分布进行修改，提出开关分布，引入隐藏状态（M_n）以指示模型处于‘切换’或‘稳定’状态。
• 将切换过程建模为马尔可夫链，转移概率为 π(M_{n+1}=0|M_n=0) = θ 与 π(M_{n+1}=1|M_n=1) = 1−θ，实现动态模型选择。
• 采用两分量混合模型：一个用于尚未切换的模型（M_n=0），一个用于已切换的模型（M_n=1），通过切换时间的先验调整权重。
• 将开关分布 p_sw(x^n) 定义为隐马尔可夫模型中所有路径的求和，对模型索引与切换时间进行积分，使用先验 π(Z=n|Z≥n)。
• 实现一种高效的递归算法，分别维护活跃模型（w^a_k）与已切换模型（w^b_k）的权重，通过预测密度顺序更新。
• 通过不变量确保正确性：w^a_k 与 w^b_k 在每一步均表示数据、模型索引与切换状态的联合概率，保持边缘概率不变。

实验结果

研究问题

• RQ1 为何在真实分布位于模型集合闭包中但不在任一单一模型中的非参数设定下，贝叶斯模型选择方法收敛缓慢？
• RQ2 能否设计一种方法，同时实现BIC/贝叶斯的一致性与AIC/LOO的最优收敛速率？
• RQ3 如何构建一种预序列表征（序列预测）方法，实现模型间的自适应切换，并在码长上优于最优固定模型？
• RQ4 ‘追赶现象’在多大程度上延缓了贝叶斯收敛？能否利用该现象提升预测速度？
• RQ5 是否存在一种实用且高效的算法，实现具有最优收敛与一致性特性的预序列表征方法？

主要发现

• 开关分布在预测中达到最优收敛速率（至多一个常数因子），与AIC及留一法交叉验证的速率一致。
• 该方法具有统计一致性：若真实分布位于模型集合的闭包中，开关分布渐近选择出最佳逼近模型。
• 开关分布的码长在 O(log n) 范围内接近最优速率，且在许多情况下可实现最优速率，避免了标准MDL与BIC中常见的对数因子问题。
• 所提出的算法以线性时间高效计算开关分布，使其在序列预测与模型选择中具有实用性。
• 开关分布可解释为一种预序列表征（MDL风格）方法，能动态适应模型切换，在性能上优于固定模型的贝叶斯平均与AIC类方法。
• 实证比较表明，在非参数设定下，开关分布的预测对数损失优于贝叶斯因子模型选择与留一法交叉验证。