[논문 리뷰] On the Fourier Entropy Influence Conjecture for Extremal Classes

Guy Shalev|arXiv (Cornell University)|2018. 06. 10.

Machine Learning and Algorithms참고 문헌 14인용 수 3

한 줄 요약

이 논문은 부울 함수의 극한 클래스에 대해 푸리에 엔트로피-영향(Fourier Entropy-Influence, FEI) 추측을 증명한다: 매우 낮은 영향도를 가진 함수($\mathbf{I}[f] \leq 2^{-cn}$)와 높은 스펙트럴 엔트로피를 가진 함수($\mathbf{H}[f] \geq cn$), 이 경우들에 대해 통용 가능한 상수 $C$를 확립한다. 또한 푸리에 계수의 $\ell_1$-노름이 유계인 함수에 대해 FEI를 증명하고, 읽기-$k$ 결정 트리의 기존 상한 $O(k)\cdot\mathbf{I}[f]$를 $O(\sqrt{k})\cdot\mathbf{I}[f]$로 향상시켰으며, 읽기-$k$ DNF에 대한 FEI 증명으로 이어질 수 있는 길을 제시한다.

ABSTRACT

The Fourier Entropy-Influence (FEI) Conjecture of Friedgut and Kalai states that ${\bf H}[f] \leq C \cdot {\bf I}[f]$ holds for every Boolean function $f$, where ${\bf H}[f]$ denotes the spectral entropy of $f$, ${\bf I}[f]$ is its total influence, and $C > 0$ is a universal constant. Despite significant interest in the conjecture it has only been shown to hold for some classes of Boolean functions such as symmetric functions and read-once formulas. In this work, we prove the conjecture for extremal cases, functions with small influence and functions with high entropy. Specifically, we show that: * FEI holds for the class of functions with ${\bf I}[f] \leq 2^{-cn}$ with the constant $C = 4 \cdot \frac{c+1}{c}$. Furthermore, proving FEI for a class of functions with ${\bf I}[f] \leq 2^{-s(n)}$ for some $s(n) = o(n)$ will imply FEI for the class of all Boolean functions. * FEI holds for the class of functions with ${\bf H}[f] \geq cn$ with the constant $C = \frac{1 + c}{h^{-1}(c^2)}$. Furthermore, proving FEI for a class of functions with ${\bf H}[f] \geq s(n)$ for some $s(n) = o(n)$ will imply FEI for the class of all Boolean functions. Additionally, we show that FEI holds for the class of functions with constant $\|\widehat{f}\|_1$, completing the results of Chakhraborty et al. that bounded the entropy of such functions. We also improve the result of Wan et al. for read-k decision trees, from ${\bf H}[f] \leq O(k) \cdot {\bf I}[f]$ to ${\bf H}[f] \leq O(\sqrt{k}) \cdot {\bf I}[f]$. Finally, we suggest a direction for proving FEI for read-k DNFs, and prove the Fourier Min-Entropy/Influence (FMEI) Conjecture for regular read-k DNFs.

연구 동기 및 목표

• 극한 부울 함수 클래스, 특히 최소 영향도 또는 최대 스펙트럴 엔트로피를 가진 함수에 대해 푸리에 엔트로피-영향(FEI) 추측을 해결하는 것.
• 읽기-$k$ 결정 트리와 $\ell_1$-푸리에 노름이 유계인 함수와 같은 구조적 함수 클래스에 대해 영향도에 대한 스펙트럴 엔트로피의 기존 상한을 향상시키는 것.
• 희박하거나 고엔트로피 부분집합에 대해 FEI를 증명할 조건을 설정하여 모든 부울 함수에 대한 추측을 이끌어내는 것.
• 결정 트리 함수의 푸리에 계수의 $\ell_1$-노름에 대한 새로운 구조적 상한을 제공하여 이전 결과를 정교화하는 것.

제안 방법

• 총 영향도 $\mathbf{I}[f] \leq 2^{-cn}$인 함수에 대해 FEI를 증명하며, 엔트로피와 영향도의 상충 관계에서 유도된 상수 $C = 4\cdot\frac{c+1}{c}$를 사용한다.
• 스펙트럴 엔트로피 $\mathbf{H}[f] \geq cn$인 함수에 대해 FEI를 증명하며, 엔트로피 최소-엔트로피 이중성에 기반한 상수 $C = \frac{1+c}{h^{-1}(c^2)}$를 사용한다.
• 결정 트리에 대해 $\|\widehat{f}\|_1$에 대한 새로운 구조적 상한을 도입: $\|\widehat{f}\|_1 \leq \text{boundary\textunderscore size}(T) - \sum_{v \in \text{inner}(T)} |\text{Cov}(g_v, h_v)|$, 이는 이전의 크기 기반 상한보다 향상된 것이다.
• 결정 트리에 대해 구조적 귀납법을 적용하며, 항등식 $|a+b| + |a-b| = 2\max(|a|,|b|)$를 활용해 부모 및 자식 함수의 푸리에 계수를 연결한다.
• 항등식 $\|\widehat{f}\|_1 = \|\widehat{g}\|_1 + \|\widehat{h}\|_1 - \sum_S \min(|\widehat{g}(S)|, |\widehat{h}(S)|)$를 이용해 향상된 $\ell_1$-노름 상한을 유도한다.
• 정규 읽기-$k$ DNF에 대해 FEI를 증명하는 데 방향을 제시하며, FMEI 추측과 대칭 DNF의 구조적 성질을 활용한다.

실험 결과

연구 질문

• RQ1 푸리에 엔트로피-영향(FEI) 추측은 지수적으로 작은 총 영향도를 가진 부울 함수에 대해 성립하는가?
• RQ2 최대 가능 값에 가까운 높은 스펙트럴 엔트로피를 가진 함수에 대해 FEI 추측을 증명할 수 있는가?
• RQ3 읽기-$k$ 결정 트리에 대해 영향도에 대한 스펙트럴 엔트로피의 개선된 상한을 도출할 수 있는가?
• RQ4 푸리에 계수의 $\|\widehat{f}\|_1$ 노름이 유계인 함수에 대해 FEI를 증명하면 모든 부울 함수에 대해 FEI가 성립하는가?
• RQ5 결정 트리에 대한 $\|\widehat{f}\|_1$의 구조적 상한을 읽기-$k$ DNF와 같은 더 넓은 클래스에 대해 FEI를 증명하는 데 활용할 수 있는가?

주요 결과

• 총 영향도 $\mathbf{I}[f] \leq 2^{-cn}$인 함수에 대해 FEI가 성립하며, 통용 가능한 상수 $C = 4\cdot\frac{c+1}{c}$를 사용한다. 이 경우 $s(n) = o(n)$이면 모든 부울 함수에 대해 FEI가 성립함을 증명할 수 있다.
• 스펙트럴 엔트로피 $\mathbf{H}[f] \geq cn$인 함수에 대해 FEI가 성립하며, 상수 $C = \frac{1+c}{h^{-1}(c^2)}$를 사용한다. 이 경우 $s(n) = o(n)$이면 모든 부울 함수에 대해 FEI가 성립함을 증명할 수 있다.
• 푸리에 계수의 $\ell_1$-노름이 유계인 부울 함수 클래스에 대해 FEI가 증명되었으며, 이는 [CKLS16]의 결과를 완성한다.
• 읽기-$k$ 결정 트리에 대한 상한이 기존의 $\mathbf{H}[f] \leq O(k)\cdot\mathbf{I}[f]$에서 $\mathbf{H}[f] \leq O(\sqrt{k})\cdot\mathbf{I}[f]$로 향상되었다.
• 결정 트리에 대한 $\|\widehat{f}\|_1$에 대한 새로운 구조적 상한이 확립되었으며: $\|\widehat{f}\|_1 \leq \text{boundary\textunderscore size}(T) - \sum_{v \in \text{inner}(T)} |\text{Cov}(g_v, h_v)|$, 이는 배타적 함수와 주소 함수에 대해 정확하다.
• 정규 읽기-$k$ DNF에 대해 푸리에 최소엔트로피/영향(FMEI) 추측이 증명되었으며, 이는 이 클래스에 대해 FEI를 증명하는 데로 이어질 수 있는 길을 제시한다.