[論文レビュー] On the Kozachenko-Leonenko entropy estimator

Nicolas Fournier, Sylvain Delattre|arXiv (Cornell University)|Feb 24, 2016

Statistical Methods and Inference参考文献 12被引用数 3

ひとこと要約

本稿は、一般次元におけるKozachenko-Leonenkoエントロピー推定量の非漸近的かつ厳密な分析を提供し、そのバイアスと分散を導出する。1次元および2次元において中心極限定理を確立し、リチャードソン補外を用いてバイアス補正された推定量を構築し、任意の次元で明示的な漸近的信頼区間を提供する。

ABSTRACT

We study in details the bias and variance of the entropy estimator proposed by Kozachenko and Leonenko for a large class of densities on $\mathbb{R}^d$. We then use the work of Bickel and Breiman to prove a central limit theorem in dimensions $1$ and $2$. In higher dimensions, we provide a development of the bias in terms of powers of $N^{-2/d}$. This allows us to use a Richardson extrapolation to build, in any dimension, an estimator satisfying a central limit theorem and for which we can give some some explicit (asymptotic) confidence intervals.

研究の動機と目的

• 一般の密度関数に対するR^d上でのKozachenko-Leonenkoエントロピー推定量のバイアスおよび分散の詳細な非漸近的分析を提供すること。
• BickelとBreimanのフレームワークを用いて、1次元および2次元における推定量の中心極限定理を確立すること。
• 任意の次元におけるN^{-2/d}のべき級数としての高次のバイアス展開を構築すること。
• リチャードソン補外を用いてバイアス補正された推定量を構築し、任意の次元で中心極限定理を満たし、明示的な漸近的信頼区間を許容すること。

提案手法

• 推定量は $ H_N = \frac{1}{N+1}\sum_{i=1}^{N+1}\log Y^N_i + \gamma + \log v_d $ として定義され、ここで $ Y^N_i = N(R^N_i)^d $、$ R^N_i $ は $ X_1, \dots, X_{N+1} $ の中で $ X_i $ からの最近傍距離である。
• 著者らは、$ X_i $ を条件とする $ Y^N_i $ の近似的な指数分布（レート $ v_d f(X_i) $）に基づくヒューリスティックな議論を用いて、$ H_N $ の一貫性を正当化する。
• バイアス分析のため、密度関数 $ f $ に正則性条件（多項式的および指数的尾部を含む）を課した場合に有効な $ N^{-2/d} $ の累乗級数展開を導出する。
• BickelとBreimanの結果を応用し、$ \log f $ および $ \log^2 f $ のモーメント条件の下で、1次元および2次元における漸近的正規性を証明する。
• 高次元の場合、リチャードソン補外を用いる：複数の標本サイズで $ H_N $ を計算することで、主なバイアス項 $ c N^{-2/d} $ を除去し、収束が速い推定量を得る。
• 得られた補外推定量は中心極限定理を満たし、正規近似を用いて明示的な漸近的信頼区間の構築を可能にする。

実験結果

リサーチクエスチョン

• RQ1 任意の次元におけるKozachenko-Leonenkoエントロピー推定量の正確なバイアス構造は何か？
• RQ2 1次元および2次元において、推定量が中心極限定理を満たす条件は何か？
• RQ3 高次元において、補外法を用いて推定量のバイアスを体系的に補正できるか？
• RQ4 バイアス補正後のエントロピー推定量の明示的な漸近的信頼区間は何か？
• RQ5 密度関数 $ f $ の正則性および尾部の挙動が、収束速度およびバイアス展開に与える影響は何か？

主な発見

• Kozachenko-Leonenko推定量のバイアスは、$ N^{-2/d} $ のべき級数展開として表現可能であり、主項は $ c N^{-2/d} $ である。これは多項式的および指数的尾部を含む広いクラスの密度関数に対して有効である。
• 1次元および2次元では、$ \log f $ および $ \log^2 f $ のモーメント条件の下で、BickelとBreimanのフレームワークを用いて中心極限定理が成立する。
• 次元 $ d \geq 3 $ の場合、バイアスが優勢であるため、元の推定量に対して中心極限定理は成立しないが、リチャードソン補外により主なバイアス項が除去される。
• 補外された推定量は任意の次元で $ \sqrt{N} $-一貫性および漸近的正規性を満たし、明示的な漸近的信頼区間の構築が可能になる。
• 重い尾部（例：$ f(x) \sim |x|^{-a} e^{-|x|} $）を持つ密度関数および特異性を持つ有界密度関数（例：ベータ型密度）に対しても、次元 $ d \geq 3 $ において正則性パrameter $ \tau $ が $ \tau \geq 2 $ を満たす限り、本手法は適用可能である。
• 本稿では、補足命題7および補足命題9を用いて、次元および尾部挙動に応じた中心極限定理の適用の十分条件を提供しており、指数 $ a $ および次元 $ d $ に対する明示的な制約が示されている。