[논문 리뷰] Which Boolean Functions are Most Informative?

Gowtham Kumar, Thomas A. Courtade|arXiv (Cornell University)|2013. 02. 11.

Quantum Computing Algorithms and Architecture참고 문헌 7인용 수 5

한 줄 요약

이 논문은 이산 대칭 채널에서 노이즈가 있는 입력에 대해 부울 함수가 드러낼 수 있는 최대 상호정보량을 조사한다. 독립 동일 분포를 따르는 베르누이(1/2) 입력과 교차 확률 α를 가진 이산 대칭 채널에 대해, 상호정보량 I(b(Xⁿ);Yⁿ)는 1−H(α) 이하로 제한되며, b가 항등 함수일 때 등호가 성립한다. 이 추측은 아직 증명되지 않았지만, 사전 순서 함수와 조건부 엔트로피 최소화에 대한 증거나 지원한다.

ABSTRACT

We introduce a simply stated conjecture regarding the maximum mutual information a Boolean function can reveal about noisy inputs. Specifically, let $X^n$ be i.i.d. Bernoulli(1/2), and let $Y^n$ be the result of passing $X^n$ through a memoryless binary symmetric channel with crossover probability $α$. For any Boolean function $b:\{0,1\}^n ightarrow \{0,1\}$, we conjecture that $I(b(X^n);Y^n)\leq 1-H(α)$. While the conjecture remains open, we provide substantial evidence supporting its validity.

연구 동기 및 목표

• Xⁿ이 독립 동일 분포를 따르는 베르누이(1/2)이고 Yⁿ이 교차 확률 α를 가진 무-memory 이산 대칭 채널의 출력일 때, 부울 함수 b: {0,1}ⁿ → {0,1} 중에서 상호정보량 I(b(Xⁿ);Yⁿ)를 최대화하는 것을 목적으로 한다.
• 부울 함수 b의 선택에 관계없이 상호정보량이 항상 1−H(α) 이하로 제한되는지 조사한다.
• 특히 사전 순서 함수와 같은 부울 함수의 구조적 성질을 탐색하여, 조건부 엔트로피 H(b(Xⁿ)|Yⁿ)를 최소화함으로써 상호정보량을 최대화하는지 분석한다.
• 푸리에 분석 기법, 엔트로피 최소화, 함수 Tₐ(p)에 대한 의사볼록성 논증을 통해 추측에 대한 증거를 제공한다.

제안 방법

• 고정된 |b⁻¹(0)|에 대해, 조건부 엔트로피 H(b(Xⁿ)|Yⁿ)가 사전 순서 함수(lex)일 때 최소가 되는 보다 정교한 추측을 도입한다. 즉, 첫 번째 |b⁻¹(0)| 개의 원소를 사전 순서로 0으로 매핑하는 함수이다.
• 사전 순서 함수에 대해 H(b(Xⁿ)|Yⁿ) ≥ H(b(Xⁿ))H(α)라고 제안하며, 이는 주요 추측 I(b(Xⁿ);Yⁿ) ≤ 1−H(α)를 암시한다.
• Pr{b(Xⁿ)=0} = p인 사전 순서 함수에 대해 Tₐ(p) = ℰ[H(b(Xⁿ)|Yⁿ)]를 재귀적 구성으로 정의하고, Tₐ(p)가 의사볼록성 성질을 만족함을 증명한다.
• 이중 유리수 간의 보간 논증을 사용하여, 인접한 이중 유리수 p₋ = k/2ⁿ, p₊ = (k+1)/2ⁿ에 대해 Tₐ(θp₋ + (1−θ)p₊) ≥ θTₐ(p₋) + (1−θ)Tₐ(p₊)임을 보여, Tₐ(p)의 유사凸성 행동을 지지한다.
• 이진 대칭 채널의 구조를 활용하여, f(x) = −x log x의 볼록성에 기반해 조건부 엔트로피를 조건부 확률의 혼합으로 제한한다.
• Tₐ(p)에 대한 조각별 선형 상한을 구성함으로써, 주어진 α에 대해 추측 3를 검증할 수 있는 알고리즘적 증명 프레임워크를 개발한다. 이 상한은 f(p)H(α)를 초월한다.

실험 결과

연구 질문

• RQ1 b가 항등 함수일 때 상호정보량 I(b(Xⁿ);Yⁿ)가 최대가 되는가? 이 경우 I(X₁;Yⁿ) = 1−H(α)가 성립한다.
• RQ2 복잡한 구조를 가진 부울 함수 b에 대해서도 상호정보량 I(b(Xⁿ);Yⁿ)가 1−H(α)를 초과할 수 있는가?
• RQ3 고정된 Pr{b(Xⁿ)=0}에 대해 사전 순서 부울 함수가 H(b(Xⁿ)|Yⁿ)를 최소화하는가?
• RQ4 Tₐ(p) = ℰ[H(b(Xⁿ)|Yⁿ)]가 [0,1] 내 이중 유리수에서 의사볼록성을 가지는가? 이는 Tₐ(p) ≥ f(p)H(α)라는 추측을 지지한다.
• RQ5 b와 b′가 서로 다른 부울 함수일 경우, I(b(Xⁿ);b′(Yⁿ)) ≤ 1−H(α)로 일반화할 수 있는가?

주요 결과

• b(Xⁿ) = X₁일 때 추측 I(b(Xⁿ);Yⁿ) ≤ 1−H(α)는 등호로 성립하며, 이는 상한이 날카롭고 간단한 함수로도 달성 가능함을 보여준다.
• |b⁻¹(0)|가 고정되어 있을 때, 조건부 엔트로피 H(b(Xⁿ)|Yⁿ)는 사전 순서 함수일 때 최소가 되며, 이는 추측 2를 지지한다.
• 사전 순서 함수에 대해 Tₐ(p) = ℰ[H(b(Xⁿ)|Yⁿ)]는 인접한 이중 유리수 p₋ = k/2ⁿ, p₊ = (k+1)/2ⁿ에 대해 Tₐ((p₋ + p₊)/2) ≥ ½(Tₐ(p₋) + Tₐ(p₊))를 만족하며, 의사볼록성의 형태를 띤다.
• b가 사전 순서일 경우, 모든 p ∈ [0,1]에 대해 부등식 Tₐ(p) ≥ f(p)H(α)가 성립하며, 이는 추측 3 및 주요 추측을 암시한다.
• Tₐ(p)에 대한 조각별 선형 상한을 구성함으로써, 주어진 α에 대해 추측 3를 검증할 수 있는 구축형 알고리즘을 제안한다. 이 상한은 f(p)H(α)를 초월한다.
• 상호정보량 ∑ᵢ I(b(Xⁿ);Yᵢ) ≤ 1−H(α)를 증명하는 데 쓰인 푸리에 분석 기법은 더 강력한 추측 I(b(Xⁿ);Yⁿ) ≤ 1−H(α)를 입증하는 데 실패하며, 새로운 기법이 필요함을 시사한다.