[論文レビュー] Information and Estimation over Binomial and Negative Binomial Models

Dongning Guo|arXiv (Cornell University)|Jul 31, 2012

Statistical Mechanics and Entropy参考文献 6被引用数 6

ひとこと要約

この論文は、二項分布および負の二項分布モデルにおける相対エントロピーと推定誤差の間の新しい接続を確立する。具体的には、真の事前分布と不一致のある事前分布の下での条件付き平均推定値の間の発散測度の期待値として、スケーリングパラメータに関してKullback-Leibler発散の微分を表現する。従来の研究とは異なり、モデルパラメータを変更するのではなく、元のモデルパラメータを用いることで、ガウス分布およびポissonモデルの類似枠組みとより一貫性のある結果が得られる。

ABSTRACT

In recent years, a number of results have been developed which connect information measures and estimation measures under various models, including, predominently, Gaussian and Poisson models. More recent results due to Taborda and Perez-Cruz relate the relative entropy to certain mismatched estimation errors in the context of binomial and negative binomial models, where, unlike in the case of Gaussian and Poisson models, the conditional mean estimates concern models of different parameters than those of the original model. In this note, a different set of results in simple forms are developed for binomial and negative binomial models, where the conditional mean estimates are produced through the original models. The new results are more consistent with existing results for Gaussian and Poisson models.

研究の動機と目的

• 二項分布および負の二項分布モデルにおける相対エントロピーと推定誤差の新しい双対性を構築すること。
• 従来の研究で不一致推定にモデルパラメータを変更していたこと（例：二項分布でn−1回の試行）に起因する不整合を解消すること。
• ガウス分布およびポissonモデルの既存の枠組みと整合性を持たせること。ここでは条件付き平均推定値が元のモデルに依存している。
• これらのモデルにおけるスケーリングパラメータaおよびbに関して、KL発散の微分の閉形式表現を導出すること。
• 相対エントロピーの微分が、真の事前分布と不一致のある事前分布の下での条件付き平均推定値に適用された発散関数の期待値に等しいことを確立すること。

提案手法

• モデルは確率的変換として定義される：二項分布ではY|X=x ~ Binomial(n, a/x)、負の二項分布ではY|X=x ~ NB(r, x/(b+x))。
• スケーリングパラメータa（二項分布）またはb（負の二項分布）に関して、出力確率質量関数の微分を用いてKL発散D(P_Y || Q_Y)の微分を導出する。
• 補題1および補題2は、(−∞,a]または(−∞,0]に質量が存在しない条件下で、dP_Y(y)/da = (1/a)(y P_Y(y) - (y+1) P_Y(y+1))が成り立つことを示す。
• 重要な恒等式は、発散関数g(t) = t - 1 - log tを用いて、1からの相対的偏差を測る関数としてKL発散の微分を期待値として表現することである。
• 最終的な結果は、二項分布に対してE[ (Y/a) * g( (E[X|Y] - a) / (E_Q[X|Y] - a) ) ]、負の二項分布に対してE[ (Y/b) * g( (E[X|Y] + b) / (E_Q[X|Y] + b) ) ]として表される。
• 導出は、尤度比の期待値の操作と、対数項をg(t) = t - 1 - log tとして表現する恒等式に依存している。

実験結果

リサーチクエスチョン

• RQ1 元のモデルパラメータを用いて、二項分布および負の二項分布モデルにおける相対エントロピーと推定誤差の双対性を確立できるか？
• RQ2 モデルパラメータが変更されていない状況で、KL発散D(P_Y || Q_Y)の微分と不一致のある条件付き平均推定値の関係は何か？
• RQ3 従来の研究で使用された変更されたパラメータ（例：n−1回の試行）による結果が、ガウス分布およびポissonモデルの類似と一致しないのはなぜか？
• RQ4 真の事前分布と不一致のある事前分布の下での条件付き平均推定値に関して、相対エントロピーの微分の関数的形は何か？
• RQ5 g(t) = t - 1 - log tを含む同一の数学的構造が、連続モデルと同様に離散モデルのKL発散の微分を表現するために用いられるか？

主な発見

• 二項分布モデルにおけるKL発散D(P_Y || Q_Y)のパラメータaに関する微分は、E[ (Y/a) * g( (E[X|Y] - a) / (E_Q[X|Y] - a) ) ]で与えられ、ここでg(t) = t - 1 - log tである。
• 負の二項分布モデルでは、パラメータbに関する微分はE[ (Y/b) * g( (E[X|Y] + b) / (E_Q[X|Y] + b) ) ]である。
• 結果は、ガウス分布およびポissonモデルの類似と整合的であり、ここでは条件付き平均推定値が元のモデルパラメータに基づいている。
• パラメータaに関する出力確率質量関数P_Y(y)の微分が(1/a)(y P_Y(y) - (y+1) P_Y(y+1))として示され、これは導出の根幹をなす重要な恒等式である。
• 関数g(t)は、真の後方分布平均推定値と不一致のある後方分布平均推定値の間の発散測度として機能し、その期待値は相対エントロピーの変化率を捉えている。
• 導出により、KL発散の微分が、g関数による後方平均比の関数として測定される不一致推定誤差によって完全に特徴づけられることを確認した。