[论文解读] Learning mixtures of structured distributions over discrete domains

Siu-On Chan, Ilias Diakonikolas+2 more|arXiv (Cornell University)|Oct 2, 2012

Machine Learning and Algorithms参考文献 46被引用 57

一句话总结

本文提出了一种通用算法，用于学习 [n] 上结构化离散分布的混合分布，利用了此类分布可由少量区间的直方图良好近似的事实。该算法在学习对数凹性、单调风险率（MHR）和单峰分布的混合分布时，实现了近乎最优的样本复杂度和时间复杂度，其中对数凹性混合分布的样本复杂度与 n 无关，且对所有类别而言，样本复杂度对 ε 和 k 的依赖关系均接近最优。

ABSTRACT

Let $\mathfrak{C}$ be a class of probability distributions over the discrete domain $[n] = \{1,...,n\}.$ We show that if $\mathfrak{C}$ satisfies a rather general condition -- essentially, that each distribution in $\mathfrak{C}$ can be well-approximated by a variable-width histogram with few bins -- then there is a highly efficient (both in terms of running time and sample complexity) algorithm that can learn any mixture of $k$ unknown distributions from $\mathfrak{C}.$ We analyze several natural types of distributions over $[n]$, including log-concave, monotone hazard rate and unimodal distributions, and show that they have the required structural property of being well-approximated by a histogram with few bins. Applying our general algorithm, we obtain near-optimally efficient algorithms for all these mixture learning problems.

研究动机与目标

• 开发一种通用且高效的算法，用于在 [n] 上学习结构化离散分布的混合分布，且无需施加限制性假设。
• 识别出可由少量区间的直方图良好近似的广泛分布类别，从而实现高效学习。
• 实现学习对数凹性、MHR 和单峰分布混合分布的样本复杂度和时间复杂度接近最优。
• 通过聚焦于密度估计而非参数估计，克服参数估计带来的指数级样本复杂度。
• 建立自然分布类别（如对数凹性与单峰性）的新结构性质，以直方图近似为框架。

提出的方法

• 核心方法依赖于一个通用框架：若类别 C 中的每个分布均可由少量区间的可变宽度直方图良好近似，则该框架可学习 C 中任意分布的混合。
• 该框架采用平坦分解技术：若一个分布可被划分为 k 个区间，且在每个区间上近似均匀，则称其为 (ε, k)-平坦。
• 对于对数凹性、MHR 和单峰分布，作者证明其为 (ε, O(log n / ε))-平坦，从而实现高效的直方图近似。
• 该算法从未知混合分布中采样，利用经验频率构建基于直方图的假设，并以高概率保证总变差距离 ≤ ε。
• 通过位运算分析优化运行时间，MHR 和单峰混合分布的复杂度为 Õ(k log² n / ε⁴)。
• 通过适配现有结果（如 Birgé 的界限）推导下界，表明所有考虑类别的样本复杂度近乎最优。

实验结果

研究问题

• RQ1 能否设计一种通用算法，以近乎最优的样本复杂度和时间复杂度学习结构化离散分布的混合？
• RQ2 哪些自然的离散分布类别（如对数凹性、MHR、单峰性）可实现用少量区间的高效直方图近似？
• RQ3 对于某些类别（如对数凹性分布），学习此类混合分布的样本复杂度是否与 n 无关？
• RQ4 与参数估计相比，该方法在样本复杂度上表现如何，特别是在 k 较大的情况下？
• RQ5 能否将样本复杂度中对 1/ε 的依赖从立方降低至平方，从而接近信息论最优？

主要发现

• 对于 [n] 上 k 个对数凹性分布的混合，该算法使用 k·Õ(1/ε⁴) 个样本，运行时间为 Õ(k log n / ε⁴) 次位运算，样本复杂度与 n 无关。
• 对于 k 个 MHR 分布，该算法需要 O(k log(n/ε)/ε⁴) 个样本和 Õ(k log² n / ε⁴) 次位运算，与已知的 Ω(k log n / ε³) 样本下界相比，仅相差对数因子。
• 对于 k 个单峰分布，该算法使用 O(k log n / ε⁴) 个样本和 Õ(k log² n / ε⁴) 次位运算，且样本下界为 Ω(k log n / ε³)，与之匹配。
• 该方法证明了对数凹性、MHR 和单峰分布均为 (ε, O(log n / ε))-平坦，从而支持其高效的直方图近似。
• 对于 k=1 个对数凹性分布，样本复杂度为 Õ(1/ε³)，优于先前对泊松二项分布的结果，并推广至所有对数凹性分布。
• 该框架表明，样本复杂度中对 k 和 t（t-模分布）的线性依赖关系在常数因子范围内最优，且对 1/ε⁴ 的依赖关系近乎最优。