[論文レビュー] Density Functional Estimators with k-Nearest Neighbor Bandwidths

Weihao Gao, Sewoong Oh+1 more|arXiv (Cornell University)|Feb 10, 2017

Statistical Methods and Inference参考文献 5被引用数 5

ひとこと要約

本稿では、Rényiエントロピーなどの確率密度関数の多項式関数形を推定するための、k近傍（k-NN）帯域幅に基づく局所尤度推定器（k-LNN）を提案する。固定k近傍距離を用いて適応的帯域幅を選択し、漸近的バイアスを補正する新しいデバイアス補正スキームを適用することで、L²の一貫性を達成し、高次元および境界バイアスのある設定において、最先端のKDEおよびk-NN推定器を上回る性能を発揮する。

ABSTRACT

Estimating expected polynomials of density functions from samples is a basic problem with numerous applications in statistics and information theory. Although kernel density estimators are widely used in practice for such functional estimation problems, practitioners are left on their own to choose an appropriate bandwidth for each application in hand. Further, kernel density estimators suffer from boundary biases, which are prevalent in real world data with lower dimensional structures. We propose using the fixed-k nearest neighbor distances for the bandwidth, which adaptively adjusts to local geometry. Further, we propose a novel estimator based on local likelihood density estimators, that mitigates the boundary biases. Although such a choice of fixed-k nearest neighbor distances to bandwidths results in inconsistent estimators, we provide a simple debiasing scheme that precomputes the asymptotic bias and divides off this term. With this novel correction, we show consistency of this debiased estimator. We provide numerical experiments suggesting that it improves upon competing state-of-the-art methods.

研究の動機と目的

• 低次元多様体を有する高次元データにおけるカーネル密度推定器（KDE）の限界を是正すること。境界バイアスと固定帯域幅の影響により性能が低下する状況を想定。
• k-NNに基づく帯域幅選択の不一貫性を克服するため、デバイアス補正を導入すること。
• 密度関数の多項式関数形（例：Rényiエントロピー）の積分を推定するための一貫性があり、適応的な推定器を開発すること。
• 複雑な幾何構造と境界効果を伴う状況において、既存のKDEおよびk-NN推定器よりも実験的性能を向上させること。

提案手法

• 多スケールデータにおける局所的幾何構造をよりよく捉えるために、固定k近傍距離を適応的・データ依存的帯域幅として使用する。
• 高次元空間に埋め込まれた低次元多様体において顕著な境界バイアスを軽減するため、局所尤度密度推定（LLDE）を密度推定器として採用する。
• k-LNN推定器の漸近的バイアスを事前に計算し、除去する新しいデバイアス補正スキームを適用することで、L²の一貫性を確保する。
• 局所尤度フレームワーク下で、標本モーメント（S₀, S₁, S₂）の収束を示すことにより、k-LNN推定器の漸近的分布を導出する。
• Efron-Stein不等式を用いて推定器の分散をバウンドし、近隣数mに関する適切な条件下で確率的収束を証明する。
• 核関数hの有界性および連続性の仮定の下で、推定器の条件付き期待値が真の関数値に収束することを示すことにより、一貫性を確立する。

実験結果

リサーチクエスチョン

• RQ1 固定k近傍距離に基づく帯域幅は、高次元で低次元多様体を有するデータにおいて、密度関数形推定器の適応性および一貫性を向上させ得るか？
• RQ2 提案されたデバイアス補正スキームは、関数形推定におけるk-NNに基づく帯域幅選択がもたらす漸近的バイアスを効果的に補正するか？
• RQ3 k-LNN推定器は、L²の一貫性および実験的性能の観点で、最先端のKDEおよびk-NN推定器と比較してどのように差をつけるか？
• RQ4 局所尤度密度推定は、k-NN帯域幅に適用した場合、境界バイアスを効果的に低減できるか？
• RQ5 k-LNN推定器の分散挙動はどのようなものか？また、適切な標本サイズおよび近隣数のスケーリング条件下で一貫性のある収束を達成できるか？

主な発見

• 提案されたk-LNN推定器にデバイアス補正を施すことで、Jα(X)（密度関数の多項式関数形の積分）の推定において、弱い正則性条件のもとでL²の一貫性を達成する。
• k-NNに基づく推定器の漸近的バイアスが解析的に特定され、補正係数を用いて除去されることで、固定k帯域幅の本質的不一貫性にもかかわらず一貫性が達成される。
• 近隣数mがO(log n)にスケーリングする場合、k-LNN推定器の分散はO(1/n)でバウンドされ、確率的収束が保証される。
• 数値実験により、k-LNN推定器は、特に高次元および境界バイアスのある設定において、競合するKDEおよびk-NN推定器を上回る推定精度を示す。
• 低次元埋め込みを有する合成データ上でも、推定器は多様体構造に対してロバストであることが示され、性能が向上している。
• 理論的分析により、推定器の条件付き期待値が真の関数値に収束することが確認され、補正後における漸近的不偏性が立証された。