[論文レビュー] Ensemble Estimation of Distributional Functionals via $k$-Nearest Neighbors

Kevin R. Moon, Kumar Sricharan+1 more|arXiv (Cornell University)|Jul 10, 2017

Statistical Methods and Inference参考文献 33被引用数 3

ひとこと要約

本稿では、発散やエントロピーなどの分布関数の関数的量を非パラメトリック推定するためのアンサンブルk近傍法（k-NN）を提案する。滑らかさの弱い仮定のもとで、パラメトリックな平均二乗誤差（MSE）率 $O(1/N)$ を達成する。leave-one-out k-NNプラグイン推定量に最適重み付きアンサンブル推定を適用することで、収束速度が向上し、漸近正規性が得られる。これにより仮説検定が可能となり、境界補正を必要とせず、滑らかさ条件のもとで高い精度を維持するカーネルベースの手法に対する計算効率の高い代替手段を提供する。

ABSTRACT

The problem of accurate nonparametric estimation of distributional functionals (integral functionals of one or more probability distributions) has received recent interest due to their wide applicability in signal processing, information theory, machine learning, and statistics. In particular, $k$-nearest neighbor (nn) based methods have received a lot of attention due to their adaptive nature and their relatively low computational complexity. We derive the mean squared error (MSE) convergence rates of leave-one-out $k$-nn plug-in density estimators of a large class of distributional functionals without boundary correction. We then apply the theory of optimally weighted ensemble estimation to obtain weighted ensemble estimators that achieve the parametric MSE rate under assumptions that are competitive with the state of the art. The asymptotic distributions of these estimators, which are unknown for all other $k$-nn based distributional functional estimators, are also presented which enables us to perform hypothesis testing.

研究の動機と目的

• 分布関数の関数的量（エントロピー、発散、相互情報量など）をk-NN法を用いて非パラメトリック推定する手法を開発すること。
• 従来の研究よりも制限の弱い滑らかさおよび境界条件のもとで、k-NNに基づく推定量がパラメトリックなMSEレート $O(1/N)$ を達成すること。
• アンサンブル推定量の漸近分布を導出し、仮説検定などの統計的推論を可能にすること。
• f-発散にとどまらず、L²発散や一般エントロピーを含むより広いクラスの関数的量へk-NN推定量の適用を拡張すること。
• 境界知識を明示的に必要とせず、滑らかさ条件のもとで高い精度を維持するカーネル密度推定器の計算効率の高い代替手段を提供すること。

提案手法

• k近傍に基づく局所的密度推定を用いて、分布関数の関数的量のleave-one-out k-NNプラグイン推定量を用いる。
• 最適重み付きアンサンブル推定の理論を応用し、異なるk値をもつ複数のk-NN推定量を組み合わせ、バイアスとバイアスの両方を最小化する。
• アンサンブル推定量のMSE収束レートを導出し、密度関数が十分に滑らかであれば $O(1/N)$ レートであることを示す。
• 弱い正則性条件のもとで、高階モーメント解析と共分散の減衰を用いて、アンサンブル推定量の漸近正規性を確立する。
• 異なるk値におけるバイアスとバイアスのバランスを最適にとる重み付けスキームを導入し、境界補正を必要とせず収束を向上させる。
• 推定誤差をバイアスとバイアス成分に分解し、モーメントバウンドと漸近的独立性を用いてクロス項の共分散を厳密に制御する。

実験結果

リサーチクエスチョン

• RQ1 k-NNに基づく分布関数の関数的量の推定量は、境界補正を要せず、サポート集合に関する強い仮定を必要としない状況でも、パラメトリックなMSEレート $O(1/N)$ を達成できるか？
• RQ2 k-NNアンサンブル推定量の漸近分布は何か？ そして、それが妥当な統計的推論（例：仮説検定）に利用可能か？
• RQ3 アンサンブル手法をk-NNプラグイン推定量に体系的に適用することで、個々の推定量よりも高速な収束を達成できるか？
• RQ4 どのような滑らかさおよび境界条件のもとで、アンサンブルk-NN推定量はパラメトリックな収束レートを維持するか？
• RQ5 提案手法は、f-発散にとどまらず、L²発散や一般エントロピーを含むより広いクラスの関数的量へ拡張可能か？

主な発見

• 提案されたアンサンブルk-NN推定量は、元の密度関数が十分に滑らかであれば、境界補正を要せず、パラメトリックなMSEレート $O(1/N)$ を達成する。
• 推定量の漸近分布は正規分布であり、仮説検定や信頼区間の構築が可能である。これは、多くの従来のk-NN推定量とは異なり、統計的推論が可能であることを意味する。
• 異なるk値をもつ複数の推定量を最適重み付きアンサンブル手法で組み合わせることで、標準k-NN推定量よりも高速な収束が達成される。
• MoonとHero（2016）の研究よりも制限の弱い滑らかさ仮定のもとで、パラメトリックな収束レートを維持する。
• M \to \infty のとき、アンサンブル成分間の共分散は0に収束する。これにより、弱い条件下でも一貫性および漸近正規性が保証される。
• 従来のk-NNアンサンブル研究がf-発散に限っていたのに対し、本手法はL²発散や一般エントロピーを含むより広いクラスの関数的量へ適用可能である。