[논문 리뷰] On the entropy of a noisy function

Alex Samorodnitsky|arXiv (Cornell University)|2015. 08. 06.

Mathematical Approximation and Integration참고 문헌 8인용 수 8

한 줄 요약

이 논문은 불확실한 함수의 엔트로피에 대한 새로운 상계를 확립하며, 불확실한 함수 $ T_{\rho}f $의 엔트로피가 대략 $ (1-2\rho)^2 n $ 크기의 부분집합에 대한 조건부 기대값의 평균 엔트로피에 의해 제어됨을 보여준다. 주요 결과는 마스터 제르버의 보조정리보다 더 강력한 형태로 발전시키며, 고노이즈 수준 $ \rho \geq 1/2 - \delta $ 에서 쿠르티드-쿠마르 추측을 증명한다. 이는 $ I(f(X);Y) \leq 1 - H_2(\rho) $ 가 성립하며, 부분입방체 특성함수에서 등호가 성립함을 의미한다.

ABSTRACT

Let $0 < ε< 1/2$ be a noise parameter, and let $T_ε$ be the noise operator acting on functions on the boolean cube $\{0,1\}^n$. Let $f$ be a nonnegative function on $\{0,1\}^n$. We upper bound the entropy of $T_ε f$ by the average entropy of conditional expectations of $f$, given sets of roughly $(1-2ε)^2 \cdot n$ variables. In information-theoretic terms, we prove the following strengthening of "Mrs. Gerber's lemma": Let $X$ be a random binary vector of length $n$, and let $Z$ be a noise vector, corresponding to a binary symmetric channel with crossover probability $ε$. Then, setting $v = (1-2ε)^2 \cdot n$, we have (up to lower-order terms): $$ H\Big(X \oplus Z\Big) \ge n \cdot H\left(ε~+~ (1-2ε) \cdot H^{-1}\left(\frac{{\mathbb E}_{|B| = v} H\Big(\{X_i\}_{i\in B}\Big)}{v} ight) ight) $$ As an application, we show that for a boolean function $f$, which is close to a characteristic function $g$ of a subcube of dimension $n-1$, the entropy of $T_ε f$ is at most that of $T_ε g$. This, combined with a recent result of Ordentlich, Shayevitz, and Weinstein shows that the "Most informative boolean function" conjecture of Courtade and Kumar holds for high noise $ε\ge 1/2 - δ$, for some absolute constant $δ> 0$. Namely, if $X$ is uniformly distributed in $\{0,1\}^n$ and $Y$ is obtained by flipping each coordinate of $X$ independently with probability $ε$, then, provided $ε\ge 1/2 - δ$, for any boolean function $f$ holds $I\Big(f(X);Y\Big) \le 1 - H(ε)$.

연구 동기 및 목표

• 비음수 함수의 엔트로피에 노이즈가 미치는 영향, 특히 정보이론적 안정성의 맥락에서 이를 이해하는 것.
• 노이즈 함수의 엔트로피를 더 작은 변수 집합에 대한 조건부 기대값의 평균 엔트로피와 연결함으로써 마스터 제르버의 보조정리를 강화하는 것.
• 고노이즈 수준 $ \rho \geq 1/2 - \delta $ 에서 가장 정보적인 부울 함수에 대한 쿠르티드-쿠마르 추측의 타당성을 확립하는 것.
• $ (n-1) $차원 부분입방체의 특성함수가 노이즈에 대해 최대 안정성을 보이며, 엔트로피 손실을 최소화함을 보이는 것.

제안 방법

• 크기 약 $ (1-2\epsilon)^2 n $ 의 부분집합에 대해 조건부 기대값의 평균 엔트로피를 사용하여 $ \text{Ent}(T_{\epsilon}f) $ 에 대한 새로운 상계를 유도한다.
• 젠드레예, 올레시에비치, 워지타스체크가 제안한 프리드기트-칼라이-나오르 정리의 강화된 형태를 적용하여 저차수 푸리에 계수의 影響를 제어한다.
• 이진 엔트로피 함수의 두 번째 차수 테일러 전개를 사용하여 엔트로피 차이 $ 1 - H_2\left(\frac{1-x}{2}\right) \leq \frac{1}{2\ln 2}x^2 + \left(1 - \frac{1}{2\ln 2}\right)x^4 $ 를 유계화한다.
• 체비세프 부등식을 사용하여 $ T_{\epsilon}f_0 $ 의 꼬리 행동을 제어하고, 고확률로 0에서 멀리 떨어져 있음을 보장한다.
• $ \text{Ent}(T_{\epsilon}f) $ 를 세 부분으로 분해한다: $ T_{\epsilon}f_0 $ 의 엔트로피, $ T_{\epsilon}f_1 $ 의 두 번째 및 네 번째 모멘트로, 각각 푸리에 분석과 모멘트 추정을 통해 유계화한다.
• 엔트로피 상계를 오르트리치, 샤예비츠, 와이너의 최근 결과와 결합하여, $ (n-1) $차원 부분입방체에 가까운 함수는 그 특성함수의 엔트로피 손실을 초과할 수 없음을 보여준다.

실험 결과

연구 질문

• RQ1 노이즈 연산자는 부울 입방체 위의 비음수 함수의 엔트로피에 어떻게 영향을 미치는가?
• RQ2 마스터 제르버의 보조정리는 노이즈 함수의 엔트로피를 그 조건부 기대값의 평균 엔트로피와 연결함으로써 강화될 수 있는가?
• RQ3 고노이즈 수준 $ \rho \geq 1/2 - \delta $ 에서 쿠르티드-쿠마르 추측이 성립하는가? 즉, $ I(f(X);Y) \leq 1 - H_2(\rho) $ 가 성립하는가?
• RQ4 특성함수가 $ (n-1) $차원 부분입방체인 부울 함수는 노이즈에 대해 최대 안정성을 보이며, 엔트로피 손실을 최소화하는가?
• RQ5 부분입방체 특성함수와 유사한 엔트로피 손실을 보이는 부울 함수가 반드시 그러한 함수에 가까워야 하는 조건은 무엇인가?

주요 결과

• $ T_{\epsilon}f $ 의 엔트로피는 크기 약 $ (1-2\epsilon)^2 n $ 인 부분집합에 대한 조건부 기대값의 평균 엔트로피에 의해 상계되며, 이는 마스터 제르버의 보조정리를 강화하는 결과이다.
• $ \epsilon \geq 1/2 - \delta $ 인 경우, $ T_{\epsilon}f $ 의 엔트로피는 $ (n-1) $차원 부분입방체의 특성함수 $ g $ 에 대해 $ T_{\epsilon}g $ 의 엔트로피 이하이다.
• 고노이즈 수준에서 쿠르티드-쿠마르 추측이 성립한다: $ I(f(X);Y) \leq 1 - H_2(\epsilon) $ 이며, 등호는 $ f $ 가 $ (n-1) $차원 부분입방체의 특성함수일 때 성립한다.
• 영향력이나 푸리에 구조에서 $ (n-1) $차원 부분입방체에 가까운 함수는 그 특성함수보다 엔트로피 손실이 더 크지 않다.
• $ \text{Ent}(T_{\epsilon}f) $ 의 상계는 이진 엔트로피 함수의 두 번째 차수 테일러 전개와 푸리에 분석을 통한 모멘트 추정을 통해 도출된다.
• 결과는 프리드기트-칼라이-나오르 정리의 강력한 형태와 오르트리치, 샤예비츠, 와이너의 최근 안정성 결과에 의존하여 근사 최대화자와 정확한 최대화자 사이의 간극을 메운다.