[논문 리뷰] Every decision tree has an influential variable

Ryan O’Donnell, Michael Saks외 2명|ArXiv.org|2005. 08. 16.

Complexity and Algorithms in Graphs참고 문헌 19인용 수 21

한 줄 요약

이 논문은 임의의 불리안 함수를 계산하는 의사결정 트리에 대해, 함수의 분산이 각 변수의 影響력에 그 변수가 읽힐 확률로 가중된 합계로 제한됨을 보여주는 기본 부등식을 수립한다. 핵심 결과는 깊이 $d$인 의사결정 트리에서 어떤 변수의 최대 影響력에 대해 $\Omega(1/d)$의 날카로운 하한을 제시하는 것으로, 이는 이전의 하한을 크게 향상시키며, 랜덤화된 질의 복잡도와 단조 그래프 성질에 대한 새로운 하한을 가능하게 한다.

ABSTRACT

We prove that for any decision tree calculating a boolean function $f:\{-1,1\}^n o\{-1,1\}$, \[ \Var[f] \le \sum_{i=1}^n δ_i \Inf_i(f), \] where $δ_i$ is the probability that the $i$th input variable is read and $\Inf_i(f)$ is the influence of the $i$th variable on $f$. The variance, influence and probability are taken with respect to an arbitrary product measure on $\{-1,1\}^n$. It follows that the minimum depth of a decision tree calculating a given balanced function is at least the reciprocal of the largest influence of any input variable. Likewise, any balanced boolean function with a decision tree of depth $d$ has a variable with influence at least $\frac{1}{d}$. The only previous nontrivial lower bound known was $Ω(d 2^{-d})$. Our inequality has many generalizations, allowing us to prove influence lower bounds for randomized decision trees, decision trees on arbitrary product probability spaces, and decision trees with non-boolean outputs. As an application of our results we give a very easy proof that the randomized query complexity of nontrivial monotone graph properties is at least $Ω(v^{4/3}/p^{1/3})$, where $v$ is the number of vertices and $p \leq \half$ is the critical threshold probability. This supersedes the milestone $Ω(v^{4/3})$ bound of Hajnal and is sometimes superior to the best known lower bounds of Chakrabarti-Khot and Friedgut-Kahn-Wigderson.

연구 동기 및 목표

• 의사결정 트리의 구조와 불리안 함수의 影響력 간의 일반적인 부등식을 제품 측도 공간의 맥락에서 수립하는 것.
• 의사결정 트리 깊이 $d$를 갖는 함수에 대해 이전의 $\Omega(d2^{-d})$ 하한을 초월하는 최대 影響력에 대한 하한을 향상시키는 것.
• 단조 그래프 성질의 랜덤화된 질의 복잡도에 대해 새로운 날카로운 하한을 유도하는 것.
• 영향력-분산 관계를 불리안 출력과 균일 측도를 초월해 일반화하는 것.
• 질의 확률 기반의 가중 영향력 합계를 이용한 영향력 하한의 통합 프레임워크 제공

제안 방법

• 변수 $i$가 의사결정 트리에서 읽힐 확률인 $\delta_i$를 고려한 가중 영향력 합 $\sum_{i=1}^n \delta_i \mathbf{Inf}_i(f)$를 도입한다.
• 임의의 제품 측도 하에서 임의의 불리안 함수 $f$에 대해 $\mathbf{Var}[f] \leq \sum_{i=1}^n \delta_i \mathbf{Inf}_i(f)$라는 주요 부등식을 증명한다.
• 이 부등식을 적용하여 깊이 $d$인 균형 임의의 불리안 함수에 대해 최대 영향력에 대해 $\Omega(1/d)$의 하한을 도출한다.
• 반복적 의사결정 트리와 실수 값 함수에 대해 반복적 영향력 정의와 반경 $\rho$를 사용한 일반화를 통해 결과를 확장한다.
• 확률적 및 구조적 추론을 통해 단조 그래프 성질에 대해 알려진 하한을 재유도하고 향상시킨다.
• 등호가 성립하는 분리된 의사결정 트리의 구성을 통해 하한의 날카로움을 입증한다.

실험 결과

연구 질문

• RQ1 깊이 $d$인 의사결정 트리에서 어떤 입력 변수의 최대 영향력에 대해 가능한 최고의 하한은 무엇인가?
• RQ2 영향력-분산 관계는 불리안 함수와 균일 측도를 초월해 일반화될 수 있는가?
• RQ3 가중 영향력 합은 어떻게 랜덤화된 질의 복잡도에 대한 새로운 하한을 도출하는 데 사용될 수 있는가?
• RQ4 일반화된 부등식에서 인자 $k$는 날카로운가, 아니면 보편 상수로 대체될 수 있는가?
• RQ5 이 프레임워크는 단조 그래프 성질이나 기타 조합 함수에 대한 하한을 강화하는 데 적용될 수 있는가?

주요 결과

• 논문은 $\mathbf{Var}[f] \leq \sum_{i=1}^n \delta_i \mathbf{Inf}_i(f)$를 증명하며, 여기서 $\delta_i$는 변수 $i$가 의사결정 트리에서 읽힐 확률이다.
• 깊이 $d$인 균형 임의의 불리안 함수에 대해, 최소한 하나의 변수는 영향력이 $\Omega(1/d)$ 이상이며, 이는 이전의 하한인 $\Omega(d2^{-d})$를 향상시킨다.
• 이 하한은 날카로운 것으로 입증되며, 등호가 성립하는 분리된 의사결정 트리(읽기 한 번 트리 및 분리된 복합 트리 포함)에서 성립한다.
• 결과는 랜덤화된 의사결정 트리와 실수 값 함수로 확장되며, 인자 $k$가 포함된 일반화된 Efron-Stein 유형의 부등식을 도출한다.
• 응용 사례로, $v$개 정점과 임계 임계값 $p \leq 1/2$를 갖는 비자명한 단조 그래프 성질에 대해 랜덤화된 질의 복잡도에 대해 $\Omega(v^{4/3}/p^{1/3})$의 하한을 증명한다.
• 이 새로운 하한은 Hajnal의 $\Omega(v^{4/3})$ 하한을 능가하며, 일부 영역에서 Chakrabarti-Khot 및 Friedgut-Kahn-Wigderson의 하한보다도 우월할 수 있다.