[论文解读] Bayesian Properties of Normalized Maximum Likelihood and its Fast Computation

Andrew R. Barron, Teemu Roos+1 more|arXiv (Cornell University)|Jan 28, 2014

Gaussian Processes and Bayesian Inference参考文献 5被引用 4

一句话总结

该论文在模型满足温和的线性无关性条件的前提下，建立了归一化最大似然（NML）分布的精确贝叶斯类表示，即使先验权重为正负混合，也以有限混合模型的形式实现。该方法通过线性代数或优化技术，实现了NML边缘概率与条件概率的快速精确计算，显著提升了通用编码与预测任务的效率。

ABSTRACT

The normalized maximized likelihood (NML) provides the minimax regret solution in universal data compression, gambling, and prediction, and it plays an essential role in the minimum description length (MDL) method of statistical modeling and estimation. Here we show that the normalized maximum likelihood has a Bayes-like representation as a mixture of the component models, even in finite samples, though the weights of linear combination may be both positive and negative. This representation addresses in part the relationship between MDL and Bayes modeling. This representation has the advantage of speeding the calculation of marginals and conditionals required for coding and prediction applications.

研究动机与目标

• 在有限样本下，建立归一化最大似然（NML）作为贝叶斯类混合模型的精确表示，即使先验权重为负值亦可。
• 通过证明在某些模型中符号先验为精确NML表示所必需，阐明最小描述长度（MDL）与贝叶斯建模之间的理论关系。
• 开发计算高效的NML边缘概率与条件概率的计算方法，以满足数据压缩与预测任务的需求。
• 证明精确表示所需的质量点数量受模型自由度的限制，尤其在离散指数族中成立。
• 探讨该表示对预测性能的影响，包括在伯努利试验中使后验均值与最大似然估计相匹配。

提出的方法

• 将NML表示为有限个分量密度 $ p(x|\theta_k) $ 的混合形式，其中权重 $ W_k $ 可正可负，利用线性代数求解在固定 $ \theta_k $ 下的权重。
• 采用类似牛顿的优化算法，联合估计质量点的位置 $ \theta_k $ 与权重 $ W_k $，通过最小化大 $ \beta $ 下的Rényi散度准则，以逼近最坏情况比。
• 在约束 $ \sum_k W_k = 1 $ 下进行优化，$ \beta = 150 $（当 $ n=500 $ 时为 $ 120 $），以确保收敛至极小化最大遗憾解。
• 将质量点初始化为 $ \sin^2((k-1)\pi / 2(K-1)) $，以改善收敛性并避免退化。
• 通过Kullback-Leibler散度 $ D(\text{NML} \| \text{mix}) < 10^{-7} $ 和最坏情况比 $ \max_x \text{NML}(x)/\text{mix}(x) < 1 + 10^{-3} $ 验证精度。
• 在 $ n $ 个独立同分布的伯努利试验中验证该方法，表明 $ \lfloor n/2 \rfloor + 1 $ 或 $ n+1 $ 个质量点足以实现精确表示。

实验结果

研究问题

• RQ1 归一化最大似然（NML）能否以有限贝叶斯混合形式精确表示，即使先验权重可为负？
• RQ2 在给定参数模型中，精确表示NML所需的最少质量点数量是多少？其与模型自由度的关系如何？
• RQ3 如何高效计算NML分布，以实现通用编码与预测中边缘概率与条件概率的估计？
• RQ4 在何种条件下，NML的贝叶斯类表示需要使用符号（正负）先验权重，而非非负权重？
• RQ5 能否构造NML匹配先验，使得伯努利试验中对数几率的后验均值等于最大似然估计？

主要发现

• 在满足模型的温和线性无关性条件时，即使先验权重为正负混合，NML作为有限分量模型混合的精确表示也存在。
• 对于具有 $ n $ 个独立同分布试验的伯努利模型，当 $ \theta_k $ 与 $ W_k $ 均被优化时，$ \lfloor n/2 \rfloor + 1 $ 个质量点足以实现NML的精确表示。
• 当使用 $ n+1 $ 个质量点时，无论 $ \theta_k $ 如何，均可保证精确表示；且对 $ \theta_k $ 进行优化可进一步提升近似精度。
• 所提出的优化方法实现了 $ D(\text{NML} \| \text{mix}) < 10^{-7} $ 与最坏情况比 $ \max_x \text{NML}(x)/\text{mix}(x) < 1 + 10^{-3} $，确认了高保真度。
• 该方法实现了NML边缘概率与条件概率的快速精确计算，这对算术编码与序列预测至关重要。
• 在伯努利试验中，NML匹配先验可确保对数几率的后验均值等于对数几率的最大似然估计，只要成功次数既非0也非 $ n $。