[論文レビュー] Every decision tree has an influential variable

Ryan O’Donnell, Michael Saks+2 more|ArXiv.org|Aug 16, 2005

Complexity and Algorithms in Graphs参考文献 19被引用数 21

ひとこと要約

本稿では、任意のブール関数を計算する意思決定木について、関数の分散が、各変数の影響力にその変数が読まれる確率を重み付けした和で上界を示す基本的な不等式を確立する。主な結果は、深さ$d$の意思決定木における任意の変数の最大影響力に対して、$\Omega(1/d)$というタイトな下界を示したことである。これは先行研究の下界を著しく改善し、確率的クエリ複雑性および単調グラフ性質の新しい下界を可能にする。

ABSTRACT

We prove that for any decision tree calculating a boolean function $f:\{-1,1\}^n o\{-1,1\}$, \[ \Var[f] \le \sum_{i=1}^n δ_i \Inf_i(f), \] where $δ_i$ is the probability that the $i$th input variable is read and $\Inf_i(f)$ is the influence of the $i$th variable on $f$. The variance, influence and probability are taken with respect to an arbitrary product measure on $\{-1,1\}^n$. It follows that the minimum depth of a decision tree calculating a given balanced function is at least the reciprocal of the largest influence of any input variable. Likewise, any balanced boolean function with a decision tree of depth $d$ has a variable with influence at least $\frac{1}{d}$. The only previous nontrivial lower bound known was $Ω(d 2^{-d})$. Our inequality has many generalizations, allowing us to prove influence lower bounds for randomized decision trees, decision trees on arbitrary product probability spaces, and decision trees with non-boolean outputs. As an application of our results we give a very easy proof that the randomized query complexity of nontrivial monotone graph properties is at least $Ω(v^{4/3}/p^{1/3})$, where $v$ is the number of vertices and $p \leq \half$ is the critical threshold probability. This supersedes the milestone $Ω(v^{4/3})$ bound of Hajnal and is sometimes superior to the best known lower bounds of Chakrabarti-Khot and Friedgut-Kahn-Wigderson.

研究の動機と目的

• 意思決定木の構造とブール関数の影響力の関係を一般化する不等式を確立すること。特に積測度空間の文脈において。
• 深さ$d$の意思決定木を持つ関数について、先行研究の$\Omega(d2^{-d})$の最大影響力下界を改善すること。
• 単調グラフ性質の確率的クエリ複雑性に対する新しいタイトな下界を導出すること。
• 影響力-分散関係をブール関数および一様測度を超えて一般化すること。
• クエリ確率に基づく重み付き影響力和を用いた、影響力下界の統一的枠組みを提供すること。

提案手法

• 変数$i$が意思決定木で読まれる確率$\delta_i$を用いた重み付き影響力和$\sum_{i=1}^n \delta_i \mathbf{Inf}_i(f)$を導入する。
• 任意のブール関数$f$と任意の積測度に対して、主不等式$\mathbf{Var}[f] \leq \sum_{i=1}^n \delta_i \mathbf{Inf}_i(f)$を証明する。
• この不等式を適用し、深さ$d$の意思決定木を持つバランスの取れた関数について、最大影響力が$\Omega(1/d)$以上である下界を導出する。
• 実数値関数および確率的意思決定木に対して、半距離$\rho$を用いた一般化された影響力定義を用いて結果を拡張する。
• 確率的および構造的議論を用いて、確率的クエリ複雑性に関する既知の下界を再導出し、改善する。
• 等号が成立する分離された意思決定木の構成により、この下界のタイトさを示す。

実験結果

リサーチクエスチョン

• RQ1 深さ$d$の意思決定木における任意の入力変数の最大影響力の最良の可能な下界は何か？
• RQ2 影響力-分散関係は、ブール関数や一様測度を超えて一般化可能か？
• RQ3 重み付き影響力和は、確率的クエリ複雑性の新しい下界を導出するためにどのように利用できるか？
• RQ4 一般化された不等式における係数$k$は鋭いか？あるいは普遍定数に置き換え可能か？
• RQ5 この枠組みは、単調グラフ性質やその他の組合せ的関数の下界を強化するために応用可能か？

主な発見

• 本稿では、変数$i$が意思決定木で読まれる確率を$\delta_i$として、$\mathbf{Var}[f] \leq \sum_{i=1}^n \delta_i \mathbf{Inf}_i(f)$を証明する。
• 深さ$d$のバランスの取れたブール関数に対して、最大影響力が$\Omega(1/d)$以上である変数が存在する。これは、以前の下界$\Omega(d2^{-d})$を改善する。
• この下界はタイトである：等号は、読み取り専用および不交差合成木を含む分離された意思決定木で成立する。
• 結果は確率的意思決定木および実数値関数へ拡張され、係数$k$を含む一般化されたEfron-Stein型不等式が得られる。
• 応用として、$v$個の頂点と臨界閾値$p \leq 1/2$を持つ非自明な単調グラフ性質の確率的クエリ複雑性に対して、下界$\Omega(v^{4/3}/p^{1/3})$を証明する。
• この新しい下界は、Hajnalの$\Omega(v^{4/3})$の下界を上回り、Chakrabarti-KhotおよびFriedgut-Kahn-Wigdersonの下界よりも特定の範囲で優れている。