[论文解读] Consistency of ELBO maximization for model selection

Badr-Eddine Chérief-Abdellatif|arXiv (Cornell University)|Oct 28, 2018

Advanced Control Systems Optimization被引用 12

一句话总结

本文为变分推断中通过证据下界（ELBO）最大化进行模型选择提供了理论一致性证明，表明即使在模型设定错误的情况下，所选的变分近似仍能以与真实模型近似相同的速度收敛到真实数据分布。其核心贡献是证明了在温和条件下具备鲁棒性和一致性的Oracle不等式，并在概率主成分分析中通过选择主成分数量验证了该理论。

ABSTRACT

The Evidence Lower Bound (ELBO) is a quantity that plays a key role in variational inference. It can also be used as a criterion in model selection. However, though extremely popular in practice in the variational Bayes community, there has never been a general theoretic justification for selecting based on the ELBO. In this paper, we show that the ELBO maximization strategy has strong theoretical guarantees, and is robust to model misspecification while most works rely on the assumption that one model is correctly specified. We illustrate our theoretical results by an application to the selection of the number of principal components in probabilistic PCA.

研究动机与目标

• 为基于ELBO最大化的模型选择提供理论依据，尽管该方法在变分贝叶斯中被广泛使用，但缺乏正式的理论基础。
• 在存在真实模型时，建立ELBO准则在估计真实数据分布方面的一致性。
• 通过证明对模型设定错误的鲁棒性，将分析从正确设定的模型扩展到更一般的情形。
• 通过在概率主成分分析中选择主成分数量的应用，展示理论结果的实际相关性。

提出的方法

• 使用带复杂度惩罚项的惩罚ELBO准则，反映对模型的先验信念，定义为 $ \hat{K} = \arg\max_K \left( \text{ELBO}(K) - \log(1/\pi_K) \right) $。
• 引入参数 $ \alpha \in (0,1) $ 的温度后验分布，以在模型设定错误时提升鲁棒性和一致性。
• 将变分近似定义为在选定的变分族 $ \mathcal{F}_K $ 上最小化与温度后验分布的KL散度的解。
• 推导出一个Oracle不等式，用于界定真实分布与所选变分近似之间预期的 $ \alpha $-Rényi 散度的上界。
• 引入投影算子（clipB）以确保协方差估计器中矩阵元素的有界性，从而支持收敛速率分析。
• 在有界谱范数假设下，以Frobenius范数分析估计协方差矩阵的收敛速率。

实验结果

研究问题

• RQ1 ELBO最大化在模型选择中是否具有理论依据，特别是在缺乏正确设定模型的情况下？
• RQ2 通过ELBO最大化选择的变分近似能否达到与真实模型下近似相同的收敛速率？
• RQ3 当真实模型未知或设定错误时，惩罚ELBO准则如何确保一致性和鲁棒性？
• RQ4 在概率主成分分析中，通过ELBO选择主成分数量时，变分估计器的收敛速率如何？
• RQ5 使用 $ \alpha \in (0,1) $ 的温度后验分布如何改善基于ELBO的模型选择的理论性质？

主要发现

• 惩罚ELBO准则确保了一致性：随着样本量增加，真实分布与所选变分近似之间预期的 $ \alpha $-Rényi 散度收敛于零。
• 当存在真实模型 $ M_{K_0} $ 且其系数在 $ W_0 $ 中有界时，预期 $ \alpha $-Rényi 散度的上界为 $ O\left(\frac{dK_0 \log(dn)}{n}\right) $。
• 在 $ W_0 $ 的谱范数有界的条件下，投影协方差估计器 $ \widehat{\Sigma} $ 的预期Frobenius范数误差同样为 $ O\left(\frac{dK_0 \log(dn)}{n}\right) $。
• 该方法对模型设定错误具有鲁棒性，这由控制风险的Oracle不等式所证明，即使没有任何模型是完全正确的。
• 收敛速率与真实模型下变分近似可达到的最优速率一致，体现了自适应性。
• 理论框架支持在ELBO最大化中使用 $ \alpha $-温度后验分布，因为它们能确保集中性和鲁棒性，而标准后验在病态情形下则不具备这些性质。