[论文解读] Decision trees are PAC-learnable from most product distributions: a smoothed analysis

Adam Tauman Kalai, Shang‐Hua Teng|ArXiv.org|Dec 4, 2008

Machine Learning and Algorithms参考文献 12被引用 6

一句话总结

本文展示了在大多数乘积分布下，任意多项式规模的决策树均可通过平滑分析框架实现PAC可学习性。通过向乘积分布的偏差参数引入小的随机扰动，作者证明了即使在基础分布非均匀的情况下，多项式时间算法也能以高概率学习任意决策树。

ABSTRACT

We consider the problem of PAC-learning decision trees, i.e., learning a decision tree over the n-dimensional hypercube from independent random labeled examples. Despite significant effort, no polynomial-time algorithm is known for learning polynomial-sized decision trees (even trees of any super-constant size), even when examples are assumed to be drawn from the uniform distribution on {0,1}^n. We give an algorithm that learns arbitrary polynomial-sized decision trees for {\em most product distributions}. In particular, consider a random product distribution where the bias of each bit is chosen independently and uniformly from, say, [.49,.51]. Then with high probability over the parameters of the product distribution and the random examples drawn from it, the algorithm will learn any tree. More generally, in the spirit of smoothed analysis, we consider an arbitrary product distribution whose parameters are specified only up to a [-c,c] accuracy (perturbation), for an arbitrarily small positive constant c.

研究动机与目标

• 解决PAC学习多项式规模决策树在一般乘积分布下的长期开放问题。
• 表明当分布受到小随机扰动时，学习变得可行，而非假设最坏情况或均匀分布。
• 通过利用平滑分析，将Kushilevitz-Mansour（KM）算法的适用范围从均匀分布扩展至更广范围。
• 为为何决策树学习在实践中可能可行提供理论基础，尽管存在最坏情况下的难解性结果。
• 开启关于对抗性学习以及在扰动模型下超越乘积分布的学习新研究方向。

提出的方法

• 引入一种平滑分析模型，其中乘积分布中每个比特的偏差均被从区间[-c, c]上的均匀分布中引入小的随机扰动。
• 使用Kushilevitz-Mansour（KM）算法框架，并将其适配于从扰动乘积分布中抽取的随机样本。
• 应用超立方体上的傅里叶分析，以界定决策树函数高阶傅里叶系数的影响。
• 利用Chernoff-Hoeffding不等式，确保经验傅里叶系数以高概率集中在真实值附近。
• 将决策树截断至深度d，以限制高阶项的L2范数质量，表明仅低阶项对函数方差有显著贡献。
• 证明具有小幅度的低阶傅里叶系数数量有限，从而可通过采样实现高效估计。

实验结果

研究问题

• RQ1 当均匀分布假设不成立时，是否仍可对大多数乘积分布中的多项式规模决策树实现PAC学习？
• RQ2 在乘积分布参数中引入小随机扰动后，是否能使决策树学习在平滑分析模型下变得可行？
• RQ3 平滑分析框架在多大程度上能克服决策树PAC学习中最坏情况的局限性？
• RQ4 KM算法是否可被扩展至在扰动乘积分布下高效运行，而不仅限于均匀分布或黑箱访问？
• RQ5 是否可将平滑分析方法推广至非乘积分布或更复杂的学习场景（如对抗性学习）？

主要发现

• 对于任意固定常数c ∈ (0, 1/4)，以及任意大小为s的决策树f，该算法以高概率从m = poly(ns/(δε))个来自扰动乘积分布的样本中学习f。
• 该算法输出一个多项式阈值函数h，使得误差Pr_{x∼P_μ}[h(x) ≠ f(x)] ≤ ε，且该误差在扰动Δ和训练数据上以至少1−δ的概率成立。
• 主要技术贡献在于证明了决策树的高阶傅里叶系数的L2质量被限制在(1−c)^d * s以内，且随深度d指数衰减。
• 具有小幅度的傅里叶系数数量有限，即使真实分布非均匀，也可通过采样实现高效估计。
• 该算法运行时间为poly(n, m)，因此在平滑分析模型下为多项式时间且具有实际可行性。
• 该结果表明，PAC学习中均匀分布假设可能并未如先前认为的那样简化学习过程，因为即使微小扰动也能使学习变得可行。