[論文レビュー] Asymptotic behaviour of weighted differential entropies in a Bayesian problem

Mark Kelbert, Pavel Mozgunov|arXiv (Cornell University)|Apr 7, 2015

Statistical Mechanics and Entropy参考文献 5被引用数 4

ひとこと要約

本稿は、ベイジアン二項モデルにおける重み付き微分エントロピーの漸近的挙動を調査し、標本数が大きくなる条件下で、成功回数が試行回数に対して線形的または部分線形的に増加する場合、事後分布の微分エントロピーがガウス分布のエントロピーに収束することを示している。古典的な情報理論的不等式（Rao-Cramér、Bhattacharyya、Kullback）の重み付きバージョンを導出し、特定の周波数（例：p=0.5での公平性）を強調する重みが、これらの不等式の漸近的形における定数を変更するが、根本的な構造は変化しないことを明らかにした。

ABSTRACT

We consider a Bayesian problem of estimating of probability of success in a series of conditionally independent trials with binary outcomes. We study the asymptotic behaviour of differential entropy for posterior probability density function conditional on $x$ successes after $n$ conditionally independent trials, when $n o \infty$. It is shown that after an appropriate normalization in cases $x \sim n$ and $x$ $\sim n^β$ ($0

研究の動機と目的

• 一様事前分布を用いた二値試行のベイジアンモデルにおける、事後分布の微分エントロピーの漸近的挙動を分析すること。
• 古典的な情報理論的不等式（Rao-Cramér、Bhattacharyya、Kullback）を、重み付き微分エントロピー枠組みへと拡張すること。
• 特定のパrameter値（例：p=0.5）を強調する重み関数が、シャノン、エントロピー、Tsallis、フィッシャー・エントロピーの漸近的形に与える影響を定量化すること。
• 成功回数の異なるスケーリング則（x ~ n、x ~ n^β、x = 定数）の下で、重み付き情報不等式の漸近的挙動を導出し、分析すること。

提案手法

• n回の試行中にx回成功が得られた後の成功確率の事後分布として、ベータ分布 f_{p|S_n}(p|x) = (n+1) * C(n,x) * p^x * (1-p)^{n-x} を用いる。
• 標準化された事後分布を得るための線形変換を適用し、微分エントロピーの変換則 h_d(g) = h_d(f) + log d_1 を用いる。
• ラプラス法および超幾何関数の近似を用いて、三つのスケーリング則（x ~ αn、x ~ n^β（0 < β < 1）、x = 定数）の下での微分エントロピーの漸近的展開を導出する。
• 特定の周波数γ（例：γ=0.5）を強調するための重み関数 φ^{(n)}(p) = p^{γ√n}(1-p)^{(1-γ)√n}/κ(ρ,γ) を導入し、重み付きモーメント母関数を導出する。
• 重み付きフィッシャー情報量と重み付きモーメント母関数を用いて、重み付きCramér-Rao、Bhattacharyya、Kullback不等式を適用する。
• 逐次超幾何関数と漸近的級数展開（1F1）を用いて、重み付きKullback情報量および情報界の主要項を導出する。

実験結果

リサーチクエスチョン

• RQ1 成功回数xがnに比例して増加するとき、ベータ事後分布の微分エントロピーはどのように漸近的に振る舞うか？
• RQ2 特定の周波数（例：p=0.5）を強調する重み関数がある場合、シャノン、Rényi、Tsallis、フィッシャー・エントロピーの重み付き微分エントロピーの漸近的形は何か？
• RQ3 特定のパrameter値を強調する関数で重み付けされた場合、古典的な情報不等式（Rao-Cramér、Bhattacharyya、Kullback）はどのように変化するか？
• RQ4 真の成功確率が強調された値に近い場合、二つの事後分布間の重み付きKullback情報量の主要項の漸近的挙動は何か？

主な発見

• x ~ αn かつ 0 < α < 1 のとき、標準化された事後分布はガウス分布に収束し、微分エントロピーは h_d(φ) = (1/2)log(2πe) に収束する。
• x ~ n^β かつ 0 < β < 1 のとき、極限分布もガウス分布であり、線形ケースと同一のガウスエントロピー値に収束する。
• x または n−x が定数のとき、極限分布は非ガウス的であるが、漸近的微分エントロピーは明示的に計算可能であり、ガウスケースとは異なる。
• 重み関数 φ^{(n)}(p) は、すべてのエントロピー（シャノン、Rényi、Tsallis、フィッシャー）の漸近的形における定数を変更するが、主要項の構造には影響しない。
• 重み付きフィッシャー情報量の主要項は、真の周波数と強調された値γとの距離に依存する定数によって変化する。
• 重み付きKullback不等式により、下界 K^φ(f_α||f_ρ) ≥ (ε²(1+√n−n)²)/(2(1−α)αn) + O(1) が得られ、lim_{ε→0} (1/ε²)K^φ(f_α||f_ρ) = (1/2)I(f_α) ≥ n/(2α(1−α)) − √n/(α(1−α)) + O(1) が成り立つ。