[论文解读] Dirichlet draws are sparse with high probability

Matus Telgarsky|arXiv (Cornell University)|Jan 21, 2013

Bayesian Methods and Mixture Models参考文献 1被引用 9

一句话总结

本文提供了严格的概率分析，表明参数为 α = 1/n 的狄利克雷分布抽样通常具有稀疏性，即仅有对数数量级的坐标超过任意多项式阈值 n^{-c₀}。通过伽马分布表示和切尔诺夫不等式，证明了在高概率下，大坐标数量的增长速度至多为 ln(n) 的线性关系，验证了机器学习中的经验观察，并为稀疏先验提供了紧密的集中不等式。

ABSTRACT

This note provides an elementary proof of the folklore fact that draws from a Dirichlet distribution (with parameters less than 1) are typically sparse (most coordinates are small).

研究动机与目标

• 正式建立关于小参数下狄利克雷抽样具有稀疏性的常识性说法，尤其在机器学习中常见的高维设置下。
• 量化稀疏性阈值（n^{-c₃}）与超过该阈值的坐标数量之间的权衡，超越粗略的 ln(n) 边界。
• 分析参数为 α = 1/n² 的狄利克雷分布行为，表明通常仅有常数个坐标是非可忽略的。
• 为狄利克雷抽样中大坐标数量提供紧密的、非渐近的集中不等式，适用于实际模型设计。

提出的方法

• 使用标准的狄利克雷-伽马表示：Dir(α) ≡ (Y₁/ΣYᵢ, ..., Yₙ/ΣYᵢ)，其中 Yᵢ ∼ Gamma(α)。
• 应用伽马分布累积分布函数的缩放不等式：当 z ≥ 1 时，Pr[Gamma(α) ≤ zc] ≤ z^α Pr[Gamma(α) ≤ c]。
• 基于缩放后的伽马变量定义阈值事件，以控制超过 ε = n^{-c₃} 的坐标数量过多的概率。
• 对 Yᵢ > c 的指示变量之和应用切尔诺夫不等式，以控制大值的数量。
• 通过结合和的尾部概率与单个尾部概率的界限，推导出至多 k 个坐标超过 ε 的概率的下界。
• 使用不等式 Pr[|{i: Xᵢ ≥ ε}| ≤ k] ≥ 1 - ε^{-nα}e^{-(k+1)/3} - e^{-4(k+1)/9} 作为所有结果的核心不等式。

实验结果

研究问题

• RQ1 在 Dir(1/n) 抽样中，以高概率（1 - 1/n^{c₀}）下，预期有多少个坐标会超过阈值 n^{-c₀}？
• RQ2 大坐标数量对 n 的对数依赖关系能否被严格界定，且最紧的界是什么？
• RQ3 当狄利克雷参数减小至 α = 1/n² 时，稀疏性如何变化，是否导致非小坐标数量为常数？
• RQ4 在一般情况下，稀疏性阈值、大坐标数量与置信水平之间的权衡关系如何相互作用？
• RQ5 该分析能否扩展至亚对数阈值，例如涉及反阿克曼函数的情形？

主要发现

• 对于 Dir(1/n)，以高概率（1 - 1/n^{c₀}）下，超过阈值 n^{-c₀} 的坐标至多为 6c₀ ln(n) 个。
• 当 α = c₁/n 时，超过 n^{-c₃} 的坐标数量以至少 1 - (1/n)^{(c₂/3) - c₁c₃}/e^{1/3} - (1/n)^{4c₂/9}/e^{4/9} 的概率被限制在 c₂ ln(n) 以内。
• 当 α = 1/n² 时，以至少 0.64 的概率，超过阈值 n^{-2} 的坐标至多为 5 个。
• 对于任意函数 g(n)，以至少 1 - e^{2/e - 1/3} (1/g(n))^{1/3} - e^{-4/9} (1/g(n))^{4/9} 的概率，至多 ln(g(n)) 个坐标超过 n^{-2}。
• 该分析证实 ln(n) 的标度并非证明中的人为产物，因为模拟显示阈值指数与大坐标数量之间存在线性关系。
• 当 α 较小时（如 α = 1/n²），该界变得紧密，此时以高概率仅有常数个坐标是非可忽略的。