[論文レビュー] On the Estimation of Information Measures of Continuous Distributions

Georg Pichler, Pablo Piantanida+1 more|arXiv (Cornell University)|Feb 7, 2020

Statistical Mechanics and Entropy参考文献 38被引用数 4

ひとこと要約

この論文は、有限サンプルからの連続分布の微分エントロピー推定の根本的限界を確立し、信頼区間を提供する。推定が、有界なサポートやリプシッツ連続性といった制約なしでは不可能であることを証明し、これらの条件下でヒストグラム推定量の明示的な信頼区間を導出する。得られた結果は相互情報量や相対エントロピーへも拡張可能である。

ABSTRACT

The estimation of information measures of continuous distributions based on samples is a fundamental problem in statistics and machine learning. In this paper, we analyze estimates of differential entropy in $K$-dimensional Euclidean space, computed from a finite number of samples, when the probability density function belongs to a predetermined convex family $\mathcal{P}$. First, estimating differential entropy to any accuracy is shown to be infeasible if the differential entropy of densities in $\mathcal{P}$ is unbounded, clearly showing the necessity of additional assumptions. Subsequently, we investigate sufficient conditions that enable confidence bounds for the estimation of differential entropy. In particular, we provide confidence bounds for simple histogram based estimation of differential entropy from a fixed number of samples, assuming that the probability density function is Lipschitz continuous with known Lipschitz constant and known, bounded support. Our focus is on differential entropy, but we provide examples that show that similar results hold for mutual information and relative entropy as well.

研究の動機と目的

• 未知の密度から得られる有限個の独立同分布サンプルのみを用いて、微分エントロピーを保証された信頼区間で推定できるかを明らかにすること。
• このような推定が可能であるための必要十分条件を同定すること。
• 既知のリプシッツ連続性および有界サポートの下で、ヒストグラムベースの推定量の明示的な信頼区間を導出すること。
• 類似の仮定の下で、相互情報量や相対エントロピーなどの他の情報量測度に対しても分析を拡張すること。
• 仮定の必要性を示すために、有界サポートまたはリプシッツ連続性の仮定を除去した場合に推定が不可能になることを示すこと。

提案手法

• K次元ユークリッド空間における微分エントロピー推定を、有限サンプル集合を用いて分析する。
• 有界なサポートをM^K個の超立方体に分割するヒストグラムベースの推定量を導入する。
• 真の密度とその区分的定数近似との間の近似誤差を、既知のリプシッツ定数Lで制限する。
• 集中不等式を用いて、経験エントロピーとその期待値との乖離を制限する。
• 補題を用いて、密度近似によるバイアスと、サンプリングのゆらぎによる分散をそれぞれ制限する。
• バイアスと分散の項を組み合わせた信頼区間を導出し、精度がサンプル数N、次元K、リプシッツ定数L、信頼水準δにどのように依存するかを明示的に示す。

実験結果

リサーチクエスチョン

• RQ1 凸族Pに属する未知の密度分布から得られるN個の独立同分布サンプルのみを用いて、固定された信頼水準δと精度Cで微分エントロピーを推定することは可能か？
• RQ2 このような信頼区間が存在するための必要十分条件は何か？
• RQ3 ヒストグラムベースの推定量の信頼区間は、サンプル数N、次元K、リプシッツ定数L、信頼水準δにどのように依存するか？
• RQ4 類似の仮定の下で、相互情報量や相対エントロピーに対しても同様の信頼区間を確立できるか？
• RQ5 有界サポートまたはリプシッツ連続性の仮定を除去した場合、推定の可能性にどのような影響が生じるか？

主な発見

• 密度族Pの微分エントロピーが無限大である場合、保証された信頼区間を伴う微分エントロピー推定は不可能である。
• 既知の有界サポートとL-リプシッツ連続密度は、信頼区間が存在するための十分条件である。
• ヒストグラムベースの推定量において、バイアス項はL^K / (2M) * log(M * η(K, L))で抑えられ、ここでη(K, L)はKとLに依存する。
• 高い確率で、分散項はsqrt( (2/N) * log(2/δ) * log N )で抑えられる。
• 全体の信頼区間はこれらの項を組み合わせており、有界サポートまたはリプシッツ連続性の仮定がなければ推定が不可能になることが示されている。
• 結果は相互情報量や相対エントロピーに対しても拡張可能であり、これらの測度に対しても同様の可能性条件が成り立つことが示唆される。