[論文レビュー] The "Most informative boolean function" conjecture holds for high noise

Alex Samorodnitsky|arXiv (Cornell University)|Oct 29, 2015

Computability, Logic, AI Algorithms参考文献 3被引用数 5

ひとこと要約

この論文は、高ノイズレベルにおける「最も情報量が多いブール関数」の予想を証明している。任意のブール関数 $ f $ に対して、ノイズ $ \epsilon \geq 1/2 - \delta $（$ \delta > 0 $ は絶対定数）のとき、相互情報量 $ I(f(X);Y) $ が $ 1 - H(\epsilon) $ で有界であることを示している。証明は、元の結果を拡張し、関数のバランスを仮定する必要を排除するものであり、フーリエ解析とエントロピー不等式を用いて、情報量が多い関数は部分立方体の特性関数に近いことが示され、高ノイズ領域における予想の正当化が得られた。

ABSTRACT

We prove the "Most informative boolean function" conjecture of Courtade and Kumar for high noise $ε\ge 1/2 - δ$, for some absolute constant $δ> 0$. Namely, if $X$ is uniformly distributed in $\{0,1\}^n$ and $Y$ is obtained by flipping each coordinate of $X$ independently with probability $ε$, then, provided $ε\ge 1/2 - δ$, for any boolean function $f$ holds $I(f(X);Y) \le 1 - H(ε)$. This conjecture was previously known to hold only for balanced functions.

研究の動機と目的

• 高ノイズ下でのバランスのとれたブール関数に限定されない一般のブール関数に対し、Courtade-Kumarの予想の有効性を拡張すること。
• ノイズ $ \epsilon \geq 1/2 - \delta $ のとき、相互情報量 $ I(f(X);Y) $ が $ 1 - H(\epsilon) $ で有界であることを確立すること（$ \delta > 0 $ は絶対定数）。
• 先行研究で仮定されていた関数のバランス性を排除するため、洗練されたエントロピーおよびフーリエ集中の議論を導入すること。
• 高相互情報量を持つ関数は、そのフーリエ質量が低次の項に集中していることを示し、これにより部分立方体関数に近い性質を持つことを示すこと。

提案手法

• 相互情報量をノイズ関数のエントロピーで表すエンタロピーに基づく恒等式 $ I(f(X);Y) = Ent(T_\epsilon f) + Ent(T_\epsilon(1-f)) $ を用いて、予想をノイズ関数のエントロピーの観点から再定式化する。
• 文献[4]の修正版エントロピー不等式を適用し、$ Ent(T_\epsilon f) $ を1次フーリエ係数の $ L^2 $-ノルムとノイズパラメータ $ \lambda = (1-2\epsilon)^2 $ で有界化する。
• 文献[2]（および[3]の正確な形）の不等式を用いて、高相互情報量が1次と2次のフーリエレベルに質量集中することを示す。
• 文献[5]の定理1.11の修正版を導入し、条件付きエントロピーとノイズ作用素の分解を用いて非バランス関数を扱う。
• $ Ent(T_\epsilon f) $ と $ Ent(T_\epsilon(1-f)) $ の境界を組み合わせ、$ 1 - H(\epsilon) = \frac{1}{\ln 2} \sum_{k=1}^\infty \frac{1}{2k(2k-1)} \lambda^k $ の級数展開を用いて最終的な不等式を導出する。
• 直接積の議論を用いて誤差項 $ e(n) $ を除去し、高ノイズ領域における証明を完了する。

実験結果

リサーチクエスチョン

• RQ1 ノイズ $ \epsilon $ が $ 1/2 $ に十分近いとき、最も情報量が多いブール関数の予想はすべてのブール関数に対して成り立つか？
• RQ2 先行研究で仮定されていた関数のバランス性は、フーリエ解析的およびエントロピー的技法を用いて排除可能か？
• RQ3 相互情報量 $ I(f(X);Y) $、ノイズパラメータ $ \epsilon $、関数 $ f $ のフーリエ構造との関係は何か？
• RQ4 関数 $ f $ がバランスされていなくても、高情報量を持つ場合、ノイズ関数 $ T_\epsilon f $ のエントロピーはどのように振る舞うか？
• RQ5 $ \lambda = (1-2\epsilon)^2 $ が小さいとき、すべてのブール関数に対して $ I(f(X);Y) \leq 1 - H(\epsilon) $ の一様な境界が確立可能か？

主な発見

• 絶対定数 $ \delta > 0 $ に対して $ \epsilon \geq 1/2 - \delta $ のとき、予想はバランスのとれた関数に限定されないすべてのブール関数に対して成り立つ。これは、先行研究の結果を拡張したものである。
• このような高ノイズレベルでは、相互情報量 $ I(f(X);Y) $ は $ 1 - H(\epsilon) $ で上界に抑えられ、$ f $ がcodimension 1の部分立方体の特性関数であるとき、等号が成立する。
• 高相互情報量を持つ関数は、そのフーリエ質量が最初の2つのレベルに集中しており、これは $ L^2 $-距離において部分立方体関数に近いことを示唆する。
• 証明により $ \sum_{|S| \geq 2} \widehat{f}^2(S) \leq O(\lambda^{1/3}) $ が得られ、高ノイズ下では高次のフーリエ係数が無視できることが示された。
• $ \lambda $、$ \mathbb{E}f $、および $ \sum \widehat{f}^2(\{k\}) $ を含む、洗練された $ Ent(T_\epsilon f) $ のエントロピー境界が導出され、非バランス関数の取り扱いが可能になった。
• 誤差項は直接積の議論により除去され、高ノイズ領域における予想の正当化が確認された。