[论文解读] Conditioning by rare sources

Marian Grendár|ArXiv.org|Jan 3, 2006

Target Tracking and Data Fusion in Sensor Networks参考文献 16被引用 4

一句话总结

本文研究了在统计推断中对罕见源的条件化问题，表明在均匀先验或一般先验下，罕见源的后验概率呈指数衰减，衰减速率由L-散度决定。关键结果是，罕见源在渐近意义上集中于真实源在凸闭集上的L-投影，这与Sanov定理及经验测度的条件极限定理相类似。

ABSTRACT

In this paper we study the exponential decay of posterior probability of a set of sources and conditioning by rare sources for both uniform and general prior distributions of sources. The decay rate is determined by $L$-divergence and rare sources from a convex, closed set asymptotically conditionally concentrate on an $L$-projection. $L$-projection on a linear family of sources belongs to $\varLambda$-family of distributions. The results parallel those of Large Deviations for Empirical Measures (Sanov's Theorem and Conditional Limit Theorem).

研究动机与目标

• 建立与Sanov定理及经验测度的条件极限定理类似的源的大偏差原理。
• 研究在统计推断的β-问题背景下，对罕见源进行条件化时后验分布的行为特征。
• 在罕见源条件下，识别最优的源选择方法，特别是当先验非均匀时。
• 形式化L-散度与L-投影在刻画罕见源集上后验分布极限行为中的作用。
• 通过证明L-散度最大化在凸闭罕见集上给出渐近最可能的源，解决β-问题中的准则选择问题（CCP）。

提出的方法

• 使用源的大偏差理论，将Sanov定理和条件极限定理扩展至罕见源集的设定。
• 将L-散度定义为控制罕见源条件化问题中后验衰减速率的关键分歧度量。
• 引入源在凸闭源集上的L-投影作为后验集中渐近极限的概念。
• 应用类型法与信息论不等式，推导后验概率的指数界。
• 同时考虑均匀先验与一般先验分布，表明若先验在完整有理源空间上严格为正，则L-投影仍是渐近极限。
• 建立L-投影与反向I-投影在后验最大化背景下的等价性，与参数统计中的现有结果相联系。

实验结果

研究问题

• RQ1 随着样本量增加，罕见源集的后验概率如何衰减？
• RQ2 在罕见、凸且闭合的源集上，后验分布的极限分布是什么？
• RQ3 先验的选择（均匀与一般）如何影响后验分布在罕见源上的渐近行为？
• RQ4 当真实源不在候选集内时，β-问题中的最优源选择规则是什么？
• RQ5 L-散度如何与后验集中及罕见源条件化中的准则选择问题相关联？

主要发现

• 罕见、凸且闭合的源集的后验概率以指数速率衰减，衰减速率由真实源与该集合上L-投影之间的L-散度决定。
• 当n较大时，源的后验分布无论先验是均匀还是普遍的，只要其在所有有理源上严格为正，都会渐近集中于真实源在罕见集上的L-投影。
• 在均匀先验下，真实源在罕见集上的L-投影是对于所有n都使后验概率最大化的唯一源。
• 当先验在完整有理源空间上不严格为正时，后验集中在罕见集上先验支持子集的样本类型L-投影上。
• L-投影在形式上等价于反向I-投影，但L-散度的表述为β-问题中的非参数推断提供了更自然的框架。
• 在给定正则性条件下，β-问题相关的准则选择问题（CCP）的解由在罕见集上最大化L-散度给出。