[论文解读] Learning High-Dimensional Markov Forest Distributions: Analysis of Error Rates

Vincent Y. F. Tan, Animashree Anandkumar+1 more|arXiv (Cornell University)|May 5, 2010

Bayesian Methods and Mixture Models被引用 5

一句话总结

该论文提出CLThres算法，通过自适应阈值剪枝方法从Chow-Liu树中去除边，以学习高维森林结构离散图模型。该算法建立了结构一致性和风险一致性，证明即使维度随样本量呈指数增长，错误概率的衰减速度也快于任何多项式形式。

ABSTRACT

The problem of learning forest-structured discrete graphical models from i.i.d. samples is considered. An algorithm based on pruning of the Chow-Liu tree through adaptive thresholding is proposed. It is shown that this algorithm is both structurally consistent and risk consistent and the error probability of structure learning decays faster than any polynomial in the number of samples under fixed model size. For the high-dimensional scenario where the size of the model d and the number of edges k scale with the number of samples n, sufficient conditions on (n,d,k) are given for the algorithm to satisfy structural and risk consistencies. In addition, the extremal structures for learning are identified; we prove that the independent (resp. tree) model is the hardest (resp. easiest) to learn using the proposed algorithm in terms of error rates for structure learning.

研究动机与目标

• 解决在样本量相对于模型维度较小的情况下学习稀疏高维图模型的挑战。
• 通过引入一致的剪枝机制，克服Chow-Liu算法在高维设置下的过拟合问题。
• 在样本量、维度和边数的一般增长条件下，为所提算法的结构一致性和风险一致性提供理论保证。
• 识别极值结构——诱导独立模型和树模型——作为学习难度最高和最低的结构，以错误率衡量。

提出的方法

• 提出CLThres算法，通过自适应阈值剪枝Chow-Liu树中的弱边，以恢复真实森林结构。
• 利用类型法和欧几里得信息论推导过度估计和低估估计错误概率的紧致界。
• 应用凸对偶性将过度估计错误率与半定规划联系起来，实现精确的渐近分析。
• 利用KL散度和类型类概率，通过独立同分布抽样限制错误结构估计的可能性。
• 引入真实分布的森林投影作为风险一致性的目标，使KL散度在所有森林结构模型中最小化。
• 利用Pinsker不等式和联合概率的统一下界，建立估计分布与真实分布之间KL散度的随机界。

实验结果

研究问题

• RQ1 在何种条件下，CLThres算法在学习高维森林结构图模型时具有结构一致性？
• RQ2 结构学习的错误概率作为样本量的函数，衰减速度如何，特别是在高维情形下？
• RQ3 CLThres算法的学习难度极值模型是什么？即哪些结构导致最高和最低的错误率？
• RQ4 估计模型的风险如何收敛到最佳近似森林结构分布的风险？
• RQ5 当模型维度d相对于样本数n的增长快于任何多项式时，结构一致性是否仍能保持？

主要发现

• CLThres算法实现了结构一致性：当d固定时，学习错误结构的概率衰减速度快于样本数n的任何多项式形式。
• 过度估计错误概率主导总错误率，即使d随n呈指数增长，其衰减速度也快于n的任何多项式形式。
• 在高维情形下，若d = o(exp(nδ))（对任意δ > 0），且联合分布最小元素满足弱条件，则结构一致性成立。
• 该算法也具有风险一致性：真实分布与估计模型之间的KL散度收敛于真实分布与其最佳森林投影之间KL散度。
• 独立模型是结构学习中错误率最高的最难学习结构，而树模型是最容易学习的结构。
• 风险一致性的收敛速率为O_p(d log d / n^{1−γ})（对任意γ > 0），表明即使在样本量相对于维度增长缓慢的情况下，收敛性依然成立。