[论文解读] Every decision tree has an influential variable

Ryan O’Donnell, Michael Saks+2 more|ArXiv.org|Aug 16, 2005

Complexity and Algorithms in Graphs参考文献 19被引用 21

一句话总结

本文建立了一个基本不等式，表明对于任何计算布尔函数的决策树，该函数的方差受每个变量的影响加权之和所限制，权重为该变量被读取的概率。关键结果是对深度为 $d$ 的决策树中任意变量的最大影响给出了紧的 $\Omega(1/d)$ 下界，显著改进了先前的界限，并为随机查询复杂度和单调图性质带来了新的下界。

ABSTRACT

We prove that for any decision tree calculating a boolean function $f:\{-1,1\}^n o\{-1,1\}$, \[ \Var[f] \le \sum_{i=1}^n δ_i \Inf_i(f), \] where $δ_i$ is the probability that the $i$th input variable is read and $\Inf_i(f)$ is the influence of the $i$th variable on $f$. The variance, influence and probability are taken with respect to an arbitrary product measure on $\{-1,1\}^n$. It follows that the minimum depth of a decision tree calculating a given balanced function is at least the reciprocal of the largest influence of any input variable. Likewise, any balanced boolean function with a decision tree of depth $d$ has a variable with influence at least $\frac{1}{d}$. The only previous nontrivial lower bound known was $Ω(d 2^{-d})$. Our inequality has many generalizations, allowing us to prove influence lower bounds for randomized decision trees, decision trees on arbitrary product probability spaces, and decision trees with non-boolean outputs. As an application of our results we give a very easy proof that the randomized query complexity of nontrivial monotone graph properties is at least $Ω(v^{4/3}/p^{1/3})$, where $v$ is the number of vertices and $p \leq \half$ is the critical threshold probability. This supersedes the milestone $Ω(v^{4/3})$ bound of Hajnal and is sometimes superior to the best known lower bounds of Chakrabarti-Khot and Friedgut-Kahn-Wigderson.

研究动机与目标

• 建立一个将决策树结构与布尔函数影响联系起来的一般不等式，特别是在乘积概率空间的背景下。
• 改进先前关于深度为 $d$ 的函数的最大影响的 $\Omega(d2^{-d})$ 下界。
• 为单调图性质的随机查询复杂度推导出新的、紧的下界。
• 将影响-方差关系推广到非布尔输出和随机决策树。
• 基于查询概率的加权影响和，提供一个影响下界统一框架。

提出的方法

• 引入加权影响和 $\sum_{i=1}^n \delta_i \mathbf{Inf}_i(f)$，其中 $\delta_i$ 表示变量 $i$ 在决策树中被读取的概率。
• 证明主不等式 $\mathbf{Var}[f] \leq \sum_{i=1}^n \delta_i \mathbf{Inf}_i(f)$，对任意布尔函数 $f$ 在任意乘积测度下成立。
• 应用该不等式，推导出任意平衡布尔函数在决策树深度 $d$ 下，最大影响的下界为 $\Omega(1/d)$。
• 通过使用基于广义度量 $\rho$ 的影响定义，将结果推广到随机决策树和实值函数。
• 利用该不等式，通过概率和结构论证，重新推导并改进了已知的单调图性质下界。
• 通过构造分离的决策树（其中等式成立）证明了该界限的紧性。

实验结果

研究问题

• RQ1 在深度为 $d$ 的决策树中，任意输入变量的最大影响的最佳可能下界是什么？
• RQ2 影响-方差关系能否推广到布尔函数和均匀测度之外？
• RQ3 加权影响和如何用于推导随机查询复杂度的新下界？
• RQ4 广义不等式中的因子 $k$ 是否是紧的，还是可以被一个绝对常数替代？
• RQ5 该框架能否用于加强单调图性质或其他组合函数的下界？

主要发现

• 本文证明了 $\mathbf{Var}[f] \leq \sum_{i=1}^n \delta_i \mathbf{Inf}_i(f)$，其中 $\delta_i$ 表示变量 $i$ 在决策树中被读取的概率。
• 对于任意平衡布尔函数，若其决策树深度为 $d$，则存在一个变量，其影响至少为 $\Omega(1/d)$，优于先前的 $\Omega(d2^{-d})$ 界。
• 该界限是紧的：在分离的决策树（包括仅读一次和不相交组合树）中等式成立。
• 该结果可推广至随机决策树和实值函数，得到一个带有因子 $k$ 的广义 Efron-Stein 型不等式。
• 作为应用，本文证明了在 $v$ 个顶点、临界阈值 $p \leq 1/2$ 的非平凡单调图性质上，随机查询复杂度的下界为 $\Omega(v^{4/3}/p^{1/3})$。
• 该新界优于 Hajnal 的 $\Omega(v^{4/3})$ 界，并在某些参数范围内优于 Chakrabarti-Khot 和 Friedgut-Kahn-Wigderson 的结果。