[論文レビュー] Efficient multivariate entropy estimation via $k$-nearest neighbour distances

Thomas B. Berrett, Richard J. Samworth+1 more|arXiv (Cornell University)|Jun 1, 2016

Statistical Methods and Inference参考文献 18被引用数 15

ひとこと要約

本稿では、最適な重み選択により主要なバイアス項を相殺することで、任意の次元で漸近的効率性を達成する多変量微分エントロピーの重み付きk近傍法推定器を提案する。この手法はKozachenko-Leonenko推定器を一般化し、滑らかさの条件が弱く、有界でないサポートを持つ分布に対しても効率的なエントロピー推定を可能にし、幅が最小限の漸近的有効な信頼区間を提供する。

ABSTRACT

Many statistical procedures, including goodness-of-fit tests and methods for independent component analysis, rely critically on the estimation of the entropy of a distribution. In this paper, we seek entropy estimators that are efficient and achieve the local asymptotic minimax lower bound with respect to squared error loss. To this end, we study weighted averages of the estimators originally proposed by Kozachenko and Leonenko (1987), based on the $k$-nearest neighbour distances of a sample of $n$ independent and identically distributed random vectors in $\mathbb{R}^d$. A careful choice of weights enables us to obtain an efficient estimator in arbitrary dimensions, given sufficient smoothness, while the original unweighted estimator is typically only efficient when $d \leq 3$. In addition to the new estimator proposed and theoretical understanding provided, our results facilitate the construction of asymptotically valid confidence intervals for the entropy of asymptotically minimal width.

研究の動機と目的

• 任意の次元における多変量分布の効率的で漸近的最適なエントロピー推定器の開発を目的とする。
• 次元数d ≥ 4の高次元において、標準的なKozachenko-Leonenko推定器が非自明なバイアスにより非効率となる問題を克服することを目的とする。
• 幅が最小限となる漸近的有効な信頼区間をエントロピーの推定に構築することを目的とする。
• 従来の手法が失敗する、有界でないサポートを持つ密度関数に対しても効率的なエントロピー推定を拡張することを目的とする。

提案手法

• 異なるk値におけるk近傍距離を用いたKozachenko-Leonenko推定器の重み付き平均を提案する。
• 推定器の漸近的展開における主要なバイアス項を相殺する最適な重みを導出する。
• 密度推定器の周囲におけるエントロピーの2階テイラー展開を用いてバイアスと分散を分析する。
• 漸近的展開の有効性を保証するため、密度およびその微分に対する滑らかさの条件を課す。
• スコア関数が小さい領域においてホルダーの不等式とテイラー級数近似を適用し、誤差項を制御する。
• 正則性条件の下で、局所漸近的ミニマックス下界への収束を示すことにより、漸近的正規性と効率性を確立する。

実験結果

リサーチクエスチョン

• RQ1 重み付きk-NN推定器は、任意の次元dにおける多変量エントロピー推定で漸近的効率性を達成できるか？
• RQ2 高次元設定において、主要なバイアス項を除去するためのk-NN距離への重みの選び方は何か？
• RQ3 密度関数が有界でないサポートを持つ場合でも、提案手法の推定器は効率性を保つのか？（従来の手法とは異なり、この設定で有効である。）
• RQ4 この推定器を用いて、幅が最小限となる漸近的有効な信頼区間を構築できるか？
• RQ5 高次元において、この推定器の性能は未重み付きKozachenko-Leonenko推定器と比べてどのように異なるか？

主な発見

• 提案された重み付きk-NN推定器は、d ≤ 3の場合にのみ効率的である未重み付き推定器とは異なり、任意の次元dで漸近的効率性を達成する。
• 十分な滑らかさの条件下で、推定器は二乗誤差損失における局所漸近的ミニマックス下界に到達する。
• この手法により、幅が最小限となる漸近的有効な信頼区間の構築が可能となり、実用的な利点が顕著である。
• 密度関数が有界でないサポートを持つ場合でも、推定器は依然として効率的であり、従来の手法がコンパクトなサポートおよびゼロから離れた有界な密度を仮定していたのとは対照的である。
• 推定器の漸近的分布は、フィッシャー情報量に等しい分散をもつ正規分布に従い、効率性が裏付けられる。
• 主要なバイアス項を相殺するための最適な重みは解析的に導出可能であり、やや弱い滑らかさの仮定の下でその存在が証明されている。