[論文レビュー] Finite-Sample Analysis of Fixed-k Nearest Neighbor Density Functional Estimators

Shashank Kumar Singh, Barnabás Póczos|arXiv (Cornell University)|Jun 5, 2016

Statistical Methods and Inference被引用数 14

ひとこと要約

本稿は、エントロピーおよびダイバージェンス関数 functional などの密度関数 functional に対する固定 k の k-NN 評価法について、最初の有限標本解析を提供する。k を固定し、バイアス補正を施すことにより、従来のプラグイン推定法と比較して、収束速度が速くなる。特に β ≥ D/2 のとき、パラメトリックな O(n⁻¹) の収束速度を達成する。バイアスの上限は O(n⁻β/D)、分散の上限は O(n⁻¹) であり、厳密な境界が得られる。

ABSTRACT

We provide finite-sample analysis of a general framework for using k-nearest neighbor statistics to estimate functionals of a nonparametric continuous probability density, including entropies and divergences. Rather than plugging a consistent density estimate (which requires $k \ o \\infty$ as the sample size $n \ o \\infty$) into the functional of interest, the estimators we consider fix k and perform a bias correction. This is more efficient computationally, and, as we show in certain cases, statistically, leading to faster convergence rates. Our framework unifies several previous estimators, for most of which ours are the first finite sample guarantees.

研究の動機と目的

• 密度関数 functional の固定 k の k-NN 評価法について、有限標本誤差境界を提供すること。これは計算的に効率的であり、特定の状況下で統計的に優れている。
• バイアス補正を用いた統一的かつ一般化された枠組みを提示し、エントロピー、Rényi エントロピー、KL ダイバージェンス、α-ダイバージェンスの既存推定法を統合すること。
• 固定 k の推定法がプラグイン法よりも速い収束速度を達成する条件を確立すること。特に β ≥ D/2 の場合を対象とする。
• k-NN 領域の幾何的性質と Efron-Stein 不等式を用いて、有限標本における分散境界を導出すること。
• バイアスおよび分散項が可積分であることを保証する条件を明文化すること。特に密度境界付近での正則性を含む。

提案手法

• 固定 k とバイアス補正を用いて、密度関数 functional F(P) = E[f(p(X))] の推定のための一般枠組みを提案。n → ∞ の際に k → ∞ とする必要がなくなる。
• k-NN 距離の漸近的分布に基づくバイアス補正項を用いる。これは、やや弱い条件下で、k-NN 距離が Erlang 分布に収束することを示している。
• Efron-Stein 不等式を適用し、各点が高々 N_{k,D} 個の他の点の k-NN に含まれることを活用して、推定量の分散を制限する。
• β-ホルダー連続な密度関数に対して、バイアスの減少率が O(n⁻β/D) であることを確立。この境界は滑らかさの指数 β と次元 D に依存する。
• 関数 functional および密度関数のモーメント条件のもとで、有限標本における分散境界が O(n⁻¹) であることを導出。定数は k と次元 D に依存する。
• 密度関数に境界条件 p(x) ≥ c_∂ ε^{b_∂}(x) を課すことにより、定義域の境界付近でのバイアスおよび分散項の可積分性を保証する。

実験結果

リサーチクエスチョン

• RQ1 固定 k の k-NN 評価法が、密度関数 functional に対してプラグイン法よりも速い収束速度を達成する条件は何か？
• RQ2 エントロピーおよびダイバージェンス関数 functional の固定 k の k-NN 評価法について、有限標本におけるバイアスおよび分散の境界は何か？
• RQ3 k の選択が、有限標本におけるバイアスと分散のトレードオフにどのように影響するか？
• RQ4 k-NN 領域の幾何的および確率的性質は、Efron-Stein 不等式による分散制御をどのように可能にするか？
• RQ5 有限標本誤差境界が成立するための密度関数の正則性条件（例えば境界付近でのもの）は何か？

主な発見

• β-Hölder 連続な密度関数に対して、固定 k の k-NN 評価法のバイアスは O(n⁻β/D) の速度で減少する。β ∈ (0,2] であり、D は次元を表す。
• 推定量の分散は O(n⁻¹) で有界であり、定数は k と次元 D に依存する。具体的には C_V / n で表され、C_V ∝ (1 + N_{k,D})(3 + 4k) である。
• 推定量の平均二乗誤差（MSE）は O(n⁻²β/D + n⁻¹) で有界であり、β ≥ D/2 のとき、パラメトリックな収束速度 O(n⁻¹) を達成する。
• 有限標本における分散境界は、Efron-Stein 不等式と、各点が高々 N_{k,D} 個の他の点の k-NN に含まれるという幾何的性質を用いて導出された。
• 境界条件として、p(x) ≥ c_∂ ε^{b_∂}(x) が境界付近で成り立つならば、可積分性条件 C_f < ∞ が成立し、バイアスおよび分散が有限であることが保証される。
• 本枠組みにより、Kozachenko-Leonenko のエントロピー推定法や KL ダイバージェンス推定法といった、よく知られた推定法が統合され、最初の有限標本保証が得られた。