[論文レビュー] Thinning and Information Projections

Peter Harremoës, Oliver Johnson+1 more|arXiv (Cornell University)|Jan 17, 2016

Risk and Portfolio Optimization被引用数 2

ひとこと要約

本稿は、薄型化操作と直交多項式を用いて、整数値をとる確率分布とポアソン分布との間の情報発散（情報ダイバージェンス）の鋭い下界を確立する。また、薄型化の法則（Law of Thin Numbers）の収束速度を明示的に導出し、中心極限定理への応用を通じて、第二モーメントが漸近的に十分であることを示し、ポアソン＝チャリエル多項式と情報発散の不等式を用いた明示的な境界を提示する。

ABSTRACT

In this paper we establish lower bounds on information divergence of a distribution on the integers from a Poisson distribution. These lower bounds are tight and in the cases where a rate of convergence in the Law of Thin Numbers can be computed the rate is determined by the lower bounds proved in this paper. General techniques for getting lower bounds in terms of moments are developed. The results about lower bound in the Law of Thin Numbers are used to derive similar results for the Central Limit Theorem.

研究の動機と目的

• 一般の整数値をとる確率分布とポアソン分布との間の情報発散に対する鋭い下界を確立し、薄型化の法則における収束速度を定量化する。
• 整数値をとる確率分布において、薄型化操作、情報発散、および直交多項式（ポアソン＝チャリエル多項式）との関係を確立する。
• これらの境界を用いて、離散的状況における中心極限定理の新たな収束速度結果を導出する。
• 特に第二モーメントが、情報発散の観点からポアソン近似の質に与える影響を明確にする。
• 超対数的凸分布や二項分布に類似した分布を含む、離散指数型分布族における情報射影と発散の理解を深める。

提案手法

• 整数値をとる確率分布におけるα-薄型化操作を定義し、自然指数型分布族を保存する確率的薄型化プロセスとみなす。
• 情報発散（カルバック・ライバラー発散）を、ポアソン分布からの距離を定量化する主な指標として用いる。
• 情報発散のピタゴラスの定理を適用し、平均と分散が固定された指数型分布族への射影を含む成分に発散を分解する。
• モーメント制約を用いて発散の鋭い境界を導出するために、ポアソン＝チャリエル多項式を直交基底関数として用いる。
• ポアソン＝チャリエル多項式の凸性および極値的性質を用いて、モードおよびその近傍における確率質量の下界を評価する。
• λ（平均）の区間ごとの場合分けによる解析を実施し、数値的検証を用いて臨界な部分ケースにおいて一様な境界を証明する。

実験結果

リサーチクエスチョン

• RQ1 一般の整数値をとる確率分布とポアソン分布との間の情報発散に対する、最も鋭い下界は何か？
• RQ2 薄型化の法則における収束速度は、特に第二モーメントというモーメント制約とどのように関係しているか？
• RQ3 第二モーメントのみが、情報発散の観点からポアソン近似の質を決定づける程度はどの程度か？
• RQ4 平均と分散が固定された指数型分布族への情報射影は、収束速度の境界をどのように改善できるか？
• RQ5 ポアソン＝チャリエル多項式は、離散的極限定理における発散および収束速度の鋭い境界を導出する際に果たす役割は何か？

主な発見

• 本稿は鋭い下界を証明している：$ 2\big(D(X \parallel \text{Po}(\lambda))\big)^{1/2} \geq 1 - \frac{\text{Var}(X)}{\lambda} $、これは分散を用いてポアソン分布からの発散を定量化する。
• 二項分布 $ \text{Bi}(n, \lambda/n) $ に対して、情報発散は $ n^2 D(\text{Bi}(n, \lambda/n) \parallel \text{Po}(\lambda)) \to \frac{\lambda^2}{4} $ と $ n \to \infty $ のとき収束し、収束の正確な速度が特定される。
• 平均と分散が一致する最小発散射影 $ \text{Po}_\beta(\lambda) $ への情報発散について、$ n^2 D(\text{Bi}(n, \lambda/n) \parallel \text{Po}_\beta(\lambda)) \to 0 $ が成り立ち、第二モーメントが漸近的に十分であることが示される。
• 本稿は、$ \mathbb{E}[C_2^\lambda(X)] < \beta_0 $ を満たす分布のモード $ \lceil \lambda \rceil $ における確率質量が、$ \frac{1}{2} + \left( \frac{\lambda}{-\beta_0 2^{1/2} - 1} \right)^{1/2} $ で下から抑えられることを証明し、全 variation に関する境界を導出する。
• 数値的検証により、導出された発散境界がすべての $ \lambda > 0 $ に対して鋭いことが確認され、臨界な部分ケースにおいて1からの最大偏差が0.93未満である。
• ピタゴラスの定理と二項近似の発散速度を組み合わせることで、本稿は二項分布が、平均と分散が固定された最小発散指数型分布族に漸近的に近づくことを示し、この文脈において第二モーメントが十分であることを確認する。