[論文レビュー] An Information-Theoretic Perspective of the Poisson Approximation via the Chen-Stein Method

Igal Sason|arXiv (Cornell University)|Jun 28, 2012

Random Matrices and Applications参考文献 48被引用数 11

ひとこと要約

本稿では、チェン＝スタイン法を用いたポアソン近似の情報理論的分析を提示し、独立なベルヌーイ確率変数の和とポアソン分布との間の全変動距離、相対エントロピー、および関連する発散に関する厳密な上界と下界を導出する。精密化された不等式と発散の間の関係を用いて、計算可能な境界を確立し、従来の結果よりも精度と適用範囲を向上させる。

ABSTRACT

The first part of this work considers the entropy of the sum of (possibly dependent and non-identically distributed) Bernoulli random variables. Upper bounds on the error that follows from an approximation of this entropy by the entropy of a Poisson random variable with the same mean are derived via the Chen-Stein method. The second part of this work derives new lower bounds on the total variation (TV) distance and relative entropy between the distribution of the sum of independent Bernoulli random variables and the Poisson distribution. The starting point of the derivation of the new bounds in the second part of this work is an introduction of a new lower bound on the total variation distance, whose derivation generalizes and refines the analysis by Barbour and Hall (1984), based on the Chen-Stein method for the Poisson approximation. A new lower bound on the relative entropy between these two distributions is introduced, and this lower bound is compared to a previously reported upper bound on the relative entropy by Kontoyiannis et al. (2005). The derivation of the new lower bound on the relative entropy follows from the new lower bound on the total variation distance, combined with a distribution-dependent refinement of Pinsker's inequality by Ordentlich and Weinberger (2005). Upper and lower bounds on the Bhattacharyya parameter, Chernoff information and Hellinger distance between the distribution of the sum of independent Bernoulli random variables and the Poisson distribution with the same mean are derived as well via some relations between these quantities with the total variation distance and the relative entropy. The analysis in this work combines elements of information theory with the Chen-Stein method for the Poisson approximation. The resulting bounds are easy to compute, and their applicability is exemplified.

研究の動機と目的

• 同じ平均を持つポアソン分布のエントロピーによって、おそらく従属なベルヌーイ確率変数の和のエントロピーを近似する際の誤差に対する計算可能な上界を導出すること。
• 独立なベルヌーイ変数の和の分布とポアソン分布との間の全変動距離および相対エントロピーに対する新しい下界を確立すること。
• チェン＝スタイン法と情報理論的ツールを用いて既存の境界を精緻化すること、特にバーバーとホールの解析を一般化すること。
• 全変動距離および相対エントロピーとの関係を用いて、バタチャリャリー係数、チェルノフ情報量、ヘルンガー距離に関する厳密な境界を導出すること。
• 情報理論とチェン＝スタイン法を統合したフレームワークを提供し、ポアソン近似における誤差の定量的評価を可能とすること。

提案手法

• ポアソン分布のスティーン方程式による特徴付けを活用し、ベルヌーイ確率変数の和のポアソン近似誤差をチェン＝スタイン法で分析する。
• バーバーとホール（1984年）の解析を一般化・精緻化することで、全変動距離に対する新しい下界を導出。これにより、彼らの要因1/32を上回るよりきつい境界が得られる。
• オルドリッチとワインバーガー（2005年）によるピンスカーリンの不等式の分布依存型精緻化と、新しい全変動距離の下界を組み合わせることで、相対エントロピーに対する新しい下界を導出する。
• 既知の情報理論的恒等式を用いて、バタチャリャリー係数、チェルノフ情報量、ヘルンガー距離、全変動距離および相対エントロピーの間の関係を確立する。
• ジェンセンの不等式および対数関数の不等式を適用し、発散に関する厳密な上界と下界を導出し、計算可能性と解析的取り扱いやすさを保証する。
• 明示的な導出と、コントイアニスらの相対エントロピーに関する上界との比較を通じて、境界の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 チェン＝スタイン法を情報理論的ツールと組み合わせることで、ポアソン近似誤差に関するよりきつい境界を導出するにはどうすればよいか？
• RQ2 独立なベルヌーイ変数の和とポアソン分布との間の全変動距離に対する新しい下界は何か？ また、それらは既存の結果をどのように改善するか？
• RQ3 精緻化されたピンスカーリンの不等式と新しい全変動距離の下界を用いて、相対エントロピーに対する新しい下界を導出できるか？
• RQ4 バタチャリャリー係数、チェルノフ情報量、ヘルンガー距離は、ポアソン近似の文脈で全変動距離および相対エントロピーとどのように関係しているか？
• RQ5 導出された境界の定量的精度は何か？ また、文献に既知の上界と比較してどうなるか？

主な発見

• バーバーとホールの結果における要因1/32を上回る、よりきつい境界を得るための新しい全変動距離の下界が導出され、定数因子の範囲でタイトであることが示された。
• 独立なベルヌーイ変数の和とポアソン分布との間の相対エントロピーに対する新しい下界が確立され、コントイアニスらの上界と比較することで、よりタイトであることが確認された。
• ヘルンガー距離および全変動距離との関係を用いて、バタチャリャリー係数が関係づけられ、ジェンセンの不等式および対数関数の不等式を用いて明示的な不等式が導出された。
• チェルノフ情報量が、バタチャリャリー係数およびヘルンガー距離との関係を経由して、全変動距離に基づく下界を満たすことが示された。
• 導出された境界は計算可能であり、実用的に適用可能であり、エントロピー、相対エントロピー、発散に関する誤差境界の明示的表現が得られた。
• 全変動距離の上界と下界の差が最大で定数因子32の範囲に収まり、新しい境界がよりきつい不等式を用いることでこの要因を精緻化していることが確認された。