[論文レビュー] Lower bounds on Information Divergence

Peter Harremoës, Christophe Vignat|arXiv (Cornell University)|Feb 12, 2011

Statistical Mechanics and Entropy参考文献 10被引用数 4

ひとこと要約

本稿は、正規分布、ポアソン分布、指数分布、ガンマ分布などの指数型分布族への情報発散（カルバック・ライブラー発散）のタイトな下界を、直交多項式とモーメントに基づく技法を用いて確立する。主な貢献は、直交多項式のモーメントに基づいた発散下界を導出する一般的手法であり、特に標準正規分布からの発散に関しては過剰尖度を用いた2次下界を明示的に示している。

ABSTRACT

In this paper we establish lower bounds on information divergence from a distribution to certain important classes of distributions as Gaussian, exponential, Gamma, Poisson, geometric, and binomial. These lower bounds are tight and for several convergence theorems where a rate of convergence can be computed, this rate is determined by the lower bounds proved in this paper. General techniques for getting lower bounds in terms of moments are developed.

研究の動機と目的

• ガウス分布、ポアソン分布、指数分布、ガンマ分布、二項分布、幾何分布などの重要な指数型分布族への情報発散のタイトな下界を導出すること。
• 直交多項式および三角関数のモーメントを用いた情報発散のバインディングに向けた一般的手法を開発すること。
• これらの下界を確立することで、情報理論的極限定理における収束速度の定量的評価を実現すること。
• 高次モーメントに基づいた普遍的な下界の仮説を検証し、反例を用いてその限界を検討すること。

提案手法

• 自然パラメータでパrameter化された指数型分布族を用い、Radon-Nikodym導関数が exp(β·x)/Z(β) の形を取る。ここで Z(β) はモーメント母関数である。
• 発散関数 D(Q^μ || Q^ν) にテイラー展開を適用し、μ と ν の間のある η に対して分散関数 V(η) を含む2次近似を導出する。
• 各指数型分布族に付随する直交多項式（エルミート、ラゲール、チャイレル）を用いてモーメント制約を表現し、発散下界を導出する。
• 分散関数 V(μ) を指数型分布族の特徴づけとして用い、V(μ) が増加関数である場合、μ ≤ ν に対して D(Q^μ || Q^ν) ≥ (μ−ν)²/(2V(ν)) を証明する。
• 発散を正規化された直交多項式の期待値で表現することにより、具体的な下界を導出する。たとえば E[~L_k^α(X)] ≤ 0 ならば D(X || Γ_α+1,1) ≥ (1/2)(E[~L_k^α(X)])² が成り立つ。
• k=3 および α=−1/2 の場合に、D(X || Γ_α+1,1) ≥ (1/2)(E[~L_k^α(X)])² が常に成り立たない反例を構成する。これは E[~L_k^α(X)] = −3 のとき、実際の発散値が 3.3195 < 4.5 であるためである。

実験結果

リサーチクエスチョン

• RQ1 任意の分布から標準的な指数型分布族（正規分布、ポアソン分布、ガンマ分布など）への情報発散のタイトな下界は何か？
• RQ2 直交多項式から導かれるモーメント制約を用いて、特定の分布からの情報発散を一様にバインドできるか？
• RQ3 ヘルミート多項式やラゲール多項式から導かれる高次モーメントに基づいた普遍的な発散下界は存在するか？
• RQ4 与えられた直交多項式 φ に対して、不等式 D(X || P) ≥ (1/2)(E[φ(X)])² が成り立つ条件は何か、またその不成立条件は何か？
• RQ5 このような下界によって、情報理論的極限定理における収束速度を特徴づけられるか？

主な発見

• 平均 μ ≤ 0、分散 1 の確率変数 X に対して、D(X || Φ) ≥ (1/2)μ² が成り立ち、Φ は標準正規分布を表す。
• 分散 ≤ 1、平均 1 の任意の X に対して、D(X || Φ) ≥ (1/2)(Var(X)−1)² が成り立ち、これは分散が 1 から離れる度合いに関する2次下界を提供する。
• レート 1 の指数分布に対して、E[X] = 1 かつ Var(X) ≤ 1 のとき、D(X || Exp(1)) ≥ (1/8)(Var(X)−1)² が成り立つ。
• 形状 1/2、スケール 2 のカイ二乗分布 χ²₁ に対して、E[X] = 1 かつ Var(X) ≤ 2 のとき、D(X || χ²₁) ≥ (1/48)(Var(X)−2)² が成り立つ。
• 単位分散かつ過剰尖度 κ ≤ 0（プラチキュルト的）である任意の X に対して、D(X || Φ) ≥ (1/48)κ² が成り立ち、これは先行研究で知られている結果と一致する。
• ガンマ分布 Γ(1/2,1) に対して、k=3 および α=−1/2 の場合に反例を構成した。E[~L₃^α(X)] = −3 のとき、D(X || Γ_α+1,1) ≥ (1/2)(E[~L₃^α(X)])² は成り立たない。実際の発散値は 3.3195 < 4.5 である。