[論文レビュー] Convergence and Monotonicity Problems in an Information-Theoretic Law of Small Numbers

Yaming Yu|arXiv (Cornell University)|Oct 29, 2008

Stochastic processes and statistical mechanics参考文献 24被引用数 1

ひとこと要約

本稿は、超対数的凸性のもとで、確率質量関数の薄型化による畳み込みのエントロピーと相対エントロピーの単調収束を情報理論的「小数の法則」において確立する。これは、平均λのポアソン分布のエントロピーに、薄型化された畳み込みのエントロピーが単調に収束することを示している。結果は、凸性、主要化、確率的順序を用いて、情報理論的中心極限定理と薄型化によるポアソン近似の類似性を拡張する。

ABSTRACT

Abstract — A version of the law of small numbers is analyzed in information-theoretic terms. Specifically, let f = {fi, i = 0, 1,...} be a probability mass function (pmf) on nonnegative integers with mean λ < ∞. Denote the nth convolution of f by f ∗n and denote the α-thinning of f by Tα(f). Then, as n → ∞, the entropy H(T1/n(f ∗n)) tends to H(po(λ)), where po(λ) denotes the pmf of the Poisson distribution with mean λ, and the relative entropy D(T1/n(f ∗n)|po(λ)) tends to zero, if it ever becomes finite. Moreover, α −1 D(Tα(f)|po(αλ)) increases in α ∈ (0, 1), and n −1 D (f ∗n |po(nλ)) decreases in n = 1,2,.... It follows that D(T1/n(f ∗n)|po(λ)) decreases monotonically in n. Furthermore, assuming that f is ultra-log-concave (i.e., logconcave relative to the Poisson pmf), we show that H(T1/n(f ∗n)) increases monotonically in n. This is a discrete analogue of the monotonicity of entropy considered by Artstein et al. (2004). In general, our results extend the parallel between the informationtheoretic central limit theorem and the information-theoretic law of small numbers explored by Kontoyiannis et al. (2005) and Harremoës et al. (2007, 2008). Ingredients in the proofs include convexity, majorization, and stochastic orders. Possible refinements are also discussed. Index Terms — binomial distribution; convex order; logarithmic Sobolev inequality; majorization; Poisson approximation; relative entropy; Schur-concavity; stochastic orders; thinning; ultra-log-concavity. I.

研究の動機と目的

• 離散的な情報理論的「小数の法則」におけるエントロピーおよび相対エントロピーの収束および単調性の挙動を分析すること。
• 情報理論的中心極限定理と薄型化によるポアソン近似の間の既知の類似性を拡張すること。
• 非負整数上での分布に対して、薄型化および畳み込み作用素におけるエントロピーおよび相対エントロピーの単調性特性を確立すること。
• 超対数的凸性がポアソン分布への収束過程におけるエントロピーの単調増加を保証する役割を調査すること。

提案手法

• 有限平均λをもつ非負整数上での確率質量関数fにおけるα-薄型化作用素Tα(f)を分析する。
• n重畳み込みf∗nおよび正規化された薄型化T1/n(f∗n)を用い、n → ∞のときポアソン(λ)に収束することを検討する。
• 凸解析、主要化理論、および確率的順序（凸順序および確率的順序を含む）の道具を用いて単調性を証明する。
• 収束の挙動を追跡するための主要な汎関数として、相対エントロピーD(T1/n(f∗n) || po(λ))およびエントロピーH(T1/n(f∗n))を用いる。
• ポアソン分布に関してのシュール-凹性および対数凸性を活用し、超対数的凸性条件下での単調性を導出する。
• 薄型化および畳み込みの構造的性質を用いた改良を検討する。

実験結果

リサーチクエスチョン

• RQ1 fが超対数的凸性を満たすとき、nが増加するにつれてH(T1/n(f∗n))は単調に増加するか？
• RQ2 nが増加するにつれて、相対エントロピーD(T1/n(f∗n) || po(λ))は単調に減少するか？
• RQ3 α ∈ (0,1)におけるD(Tα(f) || po(αλ))の挙動は、単調性および凸性とどのように関係するか？
• RQ4 超対数的凸性は、エントロピーがポアソン極限に収束する際の単調収束を保証するために果たす役割は何か？
• RQ5 確率的順序および主要化を用いて、エントロピーおよび相対エントロピーの収束を特徴づけられるか？

主な発見

• 相対エントロピーD(T1/n(f∗n) || po(λ))は、初期に有限であればn → ∞のとき0に収束する。
• fに関する一般条件のもとで、相対エントロピーD(T1/n(f∗n) || po(λ))はnに関して単調に減少する。
• fが超対数的凸性を満たすとき、エントロピーH(T1/n(f∗n))はnに関して単調に増加する。これは、Artsteinらのエントロピー単調性の離散的類似を確立する。
• 量α⁻¹D(Tα(f) || po(αλ))はα ∈ (0,1)において増加する。これは、薄型化パラメータにおける凸性に類似した挙動を示している。
• 正規化された相対エントロピーn⁻¹D(f∗n || po(nλ))はn = 1,2,…において減少する。これは、ポアソンへの収束の単調性を支持する。
• 結果は、凸性、主要化、および確率的順序論の理論を用いて証明され、対数的ソボレフ不等式による改良の可能性も示唆される。