[論文レビュー] On the Fourier Entropy Influence Conjecture for Extremal Classes

Guy Shalev|arXiv (Cornell University)|Jun 10, 2018

Machine Learning and Algorithms参考文献 14被引用数 3

ひとこと要約

この論文は、極端なブール関数クラスである、非常に低い影響力（$\mathbf{I}[f] \leq 2^{-cn}$）を示す関数および高いスペクトルエントロピー（$\mathbf{H}[f] \geq cn$）を示す関数に対して、フーリエ・エントロピー・インフルエンス（FEI）予想を証明する。これらのケースに対して一様な定数 $C$ を確立する。また、フーリエ係数の $\langle 1>$-ノルムが有界な関数に対してもFEIを証明し、読み-$k$ 決定木のための境界を $O(k)\cdot\mathbf{I}[f]$ から $O(\sqrt{k})\cdot\mathbf{I}[f]$ に改善する。さらに、読み-$k$ DNF に対するFEIの証明への道筋を示唆する。

ABSTRACT

The Fourier Entropy-Influence (FEI) Conjecture of Friedgut and Kalai states that ${\bf H}[f] \leq C \cdot {\bf I}[f]$ holds for every Boolean function $f$, where ${\bf H}[f]$ denotes the spectral entropy of $f$, ${\bf I}[f]$ is its total influence, and $C > 0$ is a universal constant. Despite significant interest in the conjecture it has only been shown to hold for some classes of Boolean functions such as symmetric functions and read-once formulas. In this work, we prove the conjecture for extremal cases, functions with small influence and functions with high entropy. Specifically, we show that: * FEI holds for the class of functions with ${\bf I}[f] \leq 2^{-cn}$ with the constant $C = 4 \cdot \frac{c+1}{c}$. Furthermore, proving FEI for a class of functions with ${\bf I}[f] \leq 2^{-s(n)}$ for some $s(n) = o(n)$ will imply FEI for the class of all Boolean functions. * FEI holds for the class of functions with ${\bf H}[f] \geq cn$ with the constant $C = \frac{1 + c}{h^{-1}(c^2)}$. Furthermore, proving FEI for a class of functions with ${\bf H}[f] \geq s(n)$ for some $s(n) = o(n)$ will imply FEI for the class of all Boolean functions. Additionally, we show that FEI holds for the class of functions with constant $\|\widehat{f}\|_1$, completing the results of Chakhraborty et al. that bounded the entropy of such functions. We also improve the result of Wan et al. for read-k decision trees, from ${\bf H}[f] \leq O(k) \cdot {\bf I}[f]$ to ${\bf H}[f] \leq O(\sqrt{k}) \cdot {\bf I}[f]$. Finally, we suggest a direction for proving FEI for read-k DNFs, and prove the Fourier Min-Entropy/Influence (FMEI) Conjecture for regular read-k DNFs.

研究の動機と目的

• 極端なブール関数クラス、特に最小の影響力または最大のスペクトルエントロピーを示す関数に対して、フーリエ・エントロピー・インフルエンス（FEI）予想を解決すること。
• 読み-$k$ 決定木や $\ell_1$-フーリエノルムが有界な関数といった構造的関数クラスに対して、影響力に関するスペクトルエントロピーの既存の境界を改善すること。
• スパースまたは高エントロピーの部分クラスに対してFEIを証明することが、すべてのブール関数に対する予想の証明にどのようにつながるかの条件を確立すること。
• 決定木関数のフーリエ係数の $\langle 1>$-ノルムに関する新しい構造的境界を提示し、先行研究を精緻化すること。

提案手法

• 影響力の合計が $\mathbf{I}[f] \leq 2^{-cn}$ である関数に対してFEIを証明し、エントロピーと影響力のトレードオフに基づいて定数 $C = 4\cdot\frac{c+1}{c}$ を導出する。
• スペクトルエントロピーが $\mathbf{H}[f] \geq cn$ である関数に対してFEIを証明し、エントロピー最小エントロピー双対性に基づいて定数 $C = \frac{1+c}{h^{-1}(c^2)}$ を使用する。
• 決定木における $\|\widehat{f}\|_1$ に対する新しい構造的境界を導入：$\|\widehat{f}\|_1 \leq \text{boundary\textunderscore size}(T) - \sum_{v \in \text{inner}(T)} |\text{Cov}(g_v, h_v)|$。これは従来のサイズに基づく境界を改善する。
• 決定木における構造的帰納法を適用し、恒等式 $|a+b| + |a-b| = 2\max(|a|,|b|)$ を用いて親関数と子関数のフーリエ係数を関連付ける。
• 恒等式 $\|\widehat{f}\|_1 = \|\widehat{g}\|_1 + \|\widehat{h}\|_1 - \sum_S \min(|\widehat{g}(S)|, |\widehat{h}(S)|)$ を用いて、改善された $\langle 1>$-ノルム境界を導出する。
• 対称的 DNF の構造的性質と FMEI 予想を活用することで、正規読み-$k$ DNF に対する FEI の証明への道筋を示唆する。

実験結果

リサーチクエスチョン

• RQ1 影響力が指数的に小さいブール関数に対して、FEI 予想は成り立つか？
• RQ2 最大の可能な値に近い高いスペクトルエントロピーを示す関数に対して、FEI 予想は成立するか？
• RQ3 読み-$k$ 決定木に対して、影響力に関するスペクトルエントロピーの改善された境界を導出できるか？
• RQ4 フーリエ係数の $\langle 1>$-ノルムが有界である関数に対してFEIを証明することは、すべてのブール関数に対するFEIの証明に繋がるか？
• RQ5 決定木における $\|\widehat{f}\|_1$ の構造的境界を用いて、読み-$k$ DNF のようなより広いクラスに対してもFEIを証明できるか？

主な発見

• 影響力が $\mathbf{I}[f] \leq 2^{-cn}$ である関数に対して、一様定数 $C = 4\cdot\frac{c+1}{c}$ を用いてFEIが成立し、$s(n) = o(n)$ であるようなこれらの関数に対してFEIを証明すれば、すべてのブール関数に対してFEIが成立することを示唆する。
• スペクトルエントロピーが $\mathbf{H}[f] \geq cn$ である関数に対して、$C = \frac{1+c}{h^{-1}(c^2)}$ を用いてFEIが成立し、$s(n) = o(n)$ であるようなこれらの関数に対してFEIを証明すれば、すべてのブール関数に対してFEIが成立することを示唆する。
• フーリエ係数の $\langle 1>$-ノルムが有界なブール関数のクラスに対してFEIが証明され、[CKLS16] の結果を完成させる。
• 読み-$k$ 決定木の境界が、$\mathbf{H}[f] \leq O(k)\cdot\mathbf{I}[f]$ から $\mathbf{H}[f] \leq O(\sqrt{k})\cdot\mathbf{I}[f]$ に改善された。
• 決定木における $\|\widehat{f}\|_1$ に対する新しい構造的境界が確立された：$\|\widehat{f}\|_1 \leq \text{boundary\textunderscore size}(T) - \sum_{v \in \text{inner}(T)} |\text{Cov}(g_v, h_v)|$。これはパリティ関数およびアドレス関数に対してタイトである。
• 正規読み-$k$ DNF に対して、フーリエ最小エントロピー/インフルエンス（FMEI）予想が証明され、このクラスに対するFEIの証明への道筋が示唆された。