[論文レビュー] Which Boolean Functions are Most Informative?

Gowtham Kumar, Thomas A. Courtade|arXiv (Cornell University)|Feb 11, 2013

Quantum Computing Algorithms and Architecture参考文献 7被引用数 5

ひとこと要約

本稿は、独立同一分布のベルヌーイ(1/2)入力と交差確率αのバイナリ対称チャネルにおけるノイズの多い入力に関して、ブール関数が露わにできる最大相互情報量を調査する。i.i.d. ベルヌーイ(1/2)入力と交差確率αのメモリレスなバイナリ対称チャネルに対して、相互情報量I(b(Xⁿ);Yⁿ)は1−H(α)で上界に抑えられ、bが恒等関数のときに等号が成立する。この予想は未解決のままであるが、辞書式関数と条件付きエントロピー最小化に関する証拠によって支持されている。

ABSTRACT

We introduce a simply stated conjecture regarding the maximum mutual information a Boolean function can reveal about noisy inputs. Specifically, let $X^n$ be i.i.d. Bernoulli(1/2), and let $Y^n$ be the result of passing $X^n$ through a memoryless binary symmetric channel with crossover probability $α$. For any Boolean function $b:\{0,1\}^n ightarrow \{0,1\}$, we conjecture that $I(b(X^n);Y^n)\leq 1-H(α)$. While the conjecture remains open, we provide substantial evidence supporting its validity.

研究の動機と目的

• Xⁿがi.i.d. ベルヌーイ(1/2)であり、Yⁿが交差確率αのメモリレスなバイナリ対称チャネルの出力であるとき、ブール関数b: {0,1}ⁿ → {0,1}が相互情報量I(b(Xⁿ);Yⁿ)を最大にするものを特定すること。
• 任意のブール関数bの選択に関わらず、相互情報量が1−H(α)で常に上界に抑えられるかどうかを調査すること。
• 特に辞書式関数を含むブール関数の構造的性質を調査し、H(b(Xⁿ)|Yⁿ)を最小化することで、相互情報量を最大化する要因を明らかにすること。
• フーリエ解析的手法、エントロピー最小化、関数Tₐ(p)に関する擬似凹性の議論を用いて、予想を裏付ける証拠を提供すること。

提案手法

• 固定された|b⁻¹(0)|に対して、条件付きエントロピーH(b(Xⁿ)|Yⁿ)が辞書式（lex）関数のとき最小になるという、洗練された予想を提示。つまり、最初の|b⁻¹(0)|個の要素を辞書式順序で0にマッピングする。
• 辞書式関数に対しては、H(b(Xⁿ)|Yⁿ) ≥ H(b(Xⁿ))H(α)が成り立つと仮定し、これにより主予想I(b(Xⁿ);Yⁿ) ≤ 1−H(α)が導かれる。
• Pr{b(Xⁿ)=0} = pを満たす辞書式関数に対して、Tₐ(p) = ℰ[H(b(Xⁿ)|Yⁿ)]を再帰的構成により定義し、Tₐ(p)が擬似凹性を満たすことを証明。
• 2進分数の隣接するペアに対して、Tₐ(θp₋ + (1−θ)p₊) ≥ θTₐ(p₋) + (1−θ)Tₐ(p₊)が成り立つことを示すことで、Tₐ(p)の凸性に類似した振る舞いを支持する。
• f(x) = −x log xの凹性を用いて、条件付き確率の混合による条件付きエントロピーの上限を導出し、バイナリ対称チャネルの構造を活用。
• 任意のαに対して予想3を検証するためのアルゴリズム的証明フレームワークを構築。f(p)H(α)を支配するTₐ(p)の分岐線形上界を構築する。

実験結果

リサーチクエスチョン

• RQ1 bが恒等関数のとき、I(b(Xⁿ);Yⁿ)が最大となり、I(X₁;Yⁿ) = 1−H(α)となるか？
• RQ2 複雑な構造を持つブール関数bに対しても、I(b(Xⁿ);Yⁿ)が1−H(α)を超えることはあり得るか？
• RQ3 Pr{b(Xⁿ)=0}を固定したとき、辞書式ブール関数がH(b(Xⁿ)|Yⁿ)を最小化するか？
• RQ4 Tₐ(p) = ℰ[H(b(Xⁿ)|Yⁿ)]が[0,1]内の2進分数上で擬似凹性を示すか？これにより、Tₐ(p) ≥ f(p)H(α)の予想が支持されるか？
• RQ5 bとb′が異なるブール関数である場合、I(b(Xⁿ);b′(Yⁿ)) ≤ 1−H(α)のような予想の拡張は可能か？

主な発見

• b(Xⁿ) = X₁のとき、予想I(b(Xⁿ);Yⁿ) ≤ 1−H(α)が等号で成立し、上界がタイトでかつ単純な関数によって達成可能であることが示された。
• 任意の固定された|b⁻¹(0)|に対して、条件付きエントロピーH(b(Xⁿ)|Yⁿ)はbが辞書式関数のときに最小となり、予想2を支持する。
• 辞書式関数に対する関数Tₐ(p) = ℰ[H(b(Xⁿ)|Yⁿ)]は、隣接する2進分数p₋ = k/2ⁿ, p₊ = (k+1)/2ⁿに対してTₐ((p₋ + p₊)/2) ≥ ½(Tₐ(p₋) + Tₐ(p₊))を満たし、擬似凹性の一種を示している。
• bが辞書式関数のとき、すべてのp ∈ [0,1]に対して不等式Tₐ(p) ≥ f(p)H(α)が成り立つ。これは予想3および主予想を示唆する。
• f(p)H(α)を支配するTₐ(p)の分岐線形上界を構築することで、任意のαに対して予想3を検証するための構成的アルゴリズムを提案。
• 弱い上界∑ᵢ I(b(Xⁿ);Yᵢ) ≤ 1−H(α)を示すために用いられたフーリエ解析的手法は、より強い予想I(b(Xⁿ);Yⁿ) ≤ 1−H(α)を確立するには不十分であり、新たな技術の必要性を示している。