[論文レビュー] On the entropy of a noisy function

Alex Samorodnitsky|arXiv (Cornell University)|Aug 6, 2015

Mathematical Approximation and Integration参考文献 8被引用数 8

ひとこと要約

この論文は、ブール立方体上のノイズ関数のエントロピーに対する新しい上界を確立し、$ T_{\rho}f $ のエントロピーが、$ f $ のサイズが概ね $ (1-2\rho)^2 n $ の部分集合に対する条件付き期待値の平均エントロピーによって制御されることを示している。主な結果は、Mrs. Gerberの補題を強化し、高ノイズレベル $ \rho \geq 1/2 - \delta $ におけるCourtade-Kumar予想を証明し、$ I(f(X);Y) \leq 1 - H_2(\rho) $ が、部分立方体の特性関数に対して等号で成り立つことを示している。

ABSTRACT

Let $0 < ε< 1/2$ be a noise parameter, and let $T_ε$ be the noise operator acting on functions on the boolean cube $\{0,1\}^n$. Let $f$ be a nonnegative function on $\{0,1\}^n$. We upper bound the entropy of $T_ε f$ by the average entropy of conditional expectations of $f$, given sets of roughly $(1-2ε)^2 \cdot n$ variables. In information-theoretic terms, we prove the following strengthening of "Mrs. Gerber's lemma": Let $X$ be a random binary vector of length $n$, and let $Z$ be a noise vector, corresponding to a binary symmetric channel with crossover probability $ε$. Then, setting $v = (1-2ε)^2 \cdot n$, we have (up to lower-order terms): $$ H\Big(X \oplus Z\Big) \ge n \cdot H\left(ε~+~ (1-2ε) \cdot H^{-1}\left(\frac{{\mathbb E}_{|B| = v} H\Big(\{X_i\}_{i\in B}\Big)}{v} ight) ight) $$ As an application, we show that for a boolean function $f$, which is close to a characteristic function $g$ of a subcube of dimension $n-1$, the entropy of $T_ε f$ is at most that of $T_ε g$. This, combined with a recent result of Ordentlich, Shayevitz, and Weinstein shows that the "Most informative boolean function" conjecture of Courtade and Kumar holds for high noise $ε\ge 1/2 - δ$, for some absolute constant $δ> 0$. Namely, if $X$ is uniformly distributed in $\{0,1\}^n$ and $Y$ is obtained by flipping each coordinate of $X$ independently with probability $ε$, then, provided $ε\ge 1/2 - δ$, for any boolean function $f$ holds $I\Big(f(X);Y\Big) \le 1 - H(ε)$.

研究の動機と目的

• ブール立方体上の非負関数におけるノイズがエントロピーに与える影響、特に情報理論的安定性の文脈において理解すること。
• ノイズ関数のエントロピーを、より小さな変数集合に対する条件付き期待値の平均エントロピーと関連付けることで、Mrs. Gerberの補題を強化すること。
• 高ノイズレベル $ \rho \geq 1/2 - \delta $ における、最も情報的なブール関数に関するCourtade-Kumar予想の妥当性を確立すること。
• $(n-1)$次元の部分立方体の特性関数がノイズに対して最大安定であり、エントロピー損失を最小化することを示すこと。

提案手法

• サイズ $ \approx (1-2\epsilon)^2 n $ の部分集合に対する $ f $ の条件付き期待値の平均エントロピーを用いて、$ \text{Ent}(T_{\epsilon}f) $ の新しい上界を導出する。
• Jendrej, Oleszkiewicz, および Wojtaszczyk による Friedgut-Kalai-Naor定理の強化版を適用し、低次のフーリエ係数の影響を制御する。
• 二階テイラー展開を用いて、二進エントロピー関数の差を評価し、$ 1 - H_2\left(\frac{1-x}{2}\right) \leq \frac{1}{2\ln 2}x^2 + \left(1 - \frac{1}{2\ln 2}\right)x^4 $ を得る。
• チェビシェフの不等式を用いて、$ T_{\epsilon}f_0 $ の尾部挙動を制御し、高確率でゼロから離れていることを保証する。
• $ \text{Ent}(T_{\epsilon}f) $ を三つの項に分解する：$ T_{\epsilon}f_0 $ のエントロピー、および $ T_{\epsilon}f_1 $ の二番目と四番目のモーメント。それぞれをフーリエ解析とモーメント推定を用いて評価する。
• エントロピーの上限と、Ordentlich, Shayevitz, および Weinstein の最近の結果を組み合わせることで、$(n-1)$次元の部分立方体に近い関数は、その特性関数のエントロピー損失を超えることはないことを示す。

実験結果

リサーチクエスチョン

• RQ1 ノイズ作用素は、ブール立方体上の非負関数のエントロピーにどのように影響するか？
• RQ2 Mrs. Gerberの補題は、ノイズ関数のエントロピーを、その条件付き期待値の平均エントロピーと関連付ける形で強化可能か？
• RQ3 高ノイズレベル $ \rho \geq 1/2 - \delta $ において、Courtade-Kumar予想 $ I(f(X);Y) \leq 1 - H_2(\rho) $ は成り立つか？
• RQ4 $(n-1)$次元の部分立方体の特性関数は、ノイズに対して最大安定であり、すなわちエントロピー損失を最小化するか？
• RQ5 エントロピー損失が部分立方体特性関数と同程度のブール関数が、その関数に近いかどうかを保証する条件は何か？

主な発見

• $ T_{\epsilon}f $ のエントロピーは、サイズ $ \approx (1-2\epsilon)^2 n $ の部分集合に対する $ f $ の条件付き期待値の平均エントロピーによって上界が与えられ、Mrs. Gerberの補題の強化をもたらす。
• $ \epsilon \geq 1/2 - \delta $ に対して、$ T_{\epsilon}f $ のエントロピーは、$(n-1)$次元部分立方体の特性関数 $ g $ に対する $ T_{\epsilon}g $ のエントロピー以下である。
• 高ノイズ下でのCourtade-Kumar予想が成立：$ I(f(X);Y) \leq 1 - H_2(\epsilon) $ であり、等号は $ f $ が $(n-1)$次元部分立方体の特性関数である場合に成立する。
• 影響またはフーリエ構造において $(n-1)$次元部分立方体に近い関数は、その特性関数のエントロピー損失を超えることはない。
• エントロピーの上限は、二進エントロピー関数の二階テイラー展開と、フーリエ解析によるモーメント推定を用いて導出される。
• この結果は、Friedgut-Kalai-Naor定理の強い形と、Ordentlich, Shayevitz, および Weinstein の最近の安定性結果に依存しており、近似最大化者と正確最大化者の差を埋める。