[论文解读] L-Divergence Consistency for a Discrete Prior

Marian Grendár|ArXiv.org|Oct 27, 2006

Computability, Logic, AI Algorithms参考文献 5被引用 4

一句话总结

本文在可数个连续数据抽样密度的离散先验下，建立了后验分布在L-散度下的几乎 surely 一致性。结果表明，后验分布在真实分布对模型集的L-投影处聚集，若存在多个L-投影，则后验概率质量在各投影间等量分配。

ABSTRACT

Posterior distribution over a countable set M of continuous data-sampling distributions piles up at L-projection of the true distribution r on M, provided that the L-projection is unique. If there are several L-projections of r on M, then the posterior probability splits among them equally.

研究动机与目标

• 在可数个连续密度的模型集上，为离散先验建立L-散度下的几乎 surely 后验一致性。
• 研究当真实分布不在模型集中时（模型误设）的后验集中行为。
• 确定后验概率在真实分布的多个L-投影之间如何渐近分布。
• 基于大偏差理论，在一般条件下（包括模型误设）证明后验一致性。
• 扩展并澄清L-散度与L-投影在贝叶斯非参数一致性中的作用。

提出的方法

• 采用大偏差方法分析后验概率的渐近行为。
• 应用源的圣维南定理（L-ST）推导模型集子集后验概率的指数衰减速率。
• 将L-散度定义为 $ L(q||p) = -\int p \log q $，L-投影定义为 $ \hat{q} = \arg\min_{q \in \mathcal{Q}} L(q||p) $。
• 建立 $ \frac{1}{n} \log \pi(q \in \mathcal{N} \mid x^n) $ 几乎 surely 收敛于 $ -\{ L(\mathcal{N}||r) - L(\mathcal{M}^e||r) \} $。
• 使用马尔可夫不等式与斯拉茨基定理分析后验质量在L-投影邻域的极限行为。
• 引入等集中概念：当存在多个L-投影时，后验对每个投影分配相等的渐近概率。

实验结果

研究问题

• RQ1 在何种条件下，后验分布会在L-散度下集中在真实分布的L-投影处？
• RQ2 当真实分布不在模型集中时（模型误设），后验行为如何？
• RQ3 当真实分布存在多个L-投影时，后验分布会发生什么变化？
• RQ4 多个L-投影之间后验质量的渐近分布能否被刻画？
• RQ5 在严格正的离散先验下，即使存在模型误设，L-散度下的后验一致性是否仍能保证？

主要发现

• 后验分布在L-散度下几乎 surely 一致：其集中在真实分布 $ r $ 对模型集 $ \mathcal{M}^e $ 的L-投影处。
• 若 $ r $ 对 $ \mathcal{M}^e $ 的L-投影唯一，后验完全集中在该点。
• 若 $ r $ 对 $ \mathcal{M}^e $ 存在 $ k $ 个不同的L-投影，后验渐近地对每个投影分配相等的概率 $ \frac{1}{k} $。
• 即使 $ r \notin \mathcal{M}^e $（即存在模型误设），该结果仍成立。
• 后验概率的收敛速率由源的圣维南定理（L-ST）刻画，衰减速率由L-散度值的差值决定。
• 证明依赖于大偏差技术，避免了先前工作中使用的鞅方法，从而提供了更简洁、更直接的一致性推导。