[論文レビュー] A Tutorial on Kernel Density Estimation and Recent Advances

Yen‐Chi Chen|arXiv (Cornell University)|Apr 12, 2017

Statistical Methods and Inference参考文献 19被引用数 33

ひとこと要約

このチュートリアルは、核密度推定（KDE）の包括的な概要を提供しており、収束速度、バンド幅選択、バイアス処理といった基礎的性質から、信頼区間や幾何的・位相的特徴の推定という現代的応用までをカバーしている。KDEは密度関数、累積分布関数、ROC曲線の推定において有効であることが示され、実用的なR実装も含まれている。

ABSTRACT

This tutorial provides a gentle introduction to kernel density estimation (KDE) and recent advances regarding confidence bands and geometric/topological features. We begin with a discussion of basic properties of KDE: the convergence rate under various metrics, density derivative estimation, and bandwidth selection. Then, we introduce common approaches to the construction of confidence intervals/bands, and we discuss how to handle bias. Next, we talk about recent advances in the inference of geometric and topological features of a density function using KDE. Finally, we illustrate how one can use KDE to estimate a cumulative distribution function and a receiver operating characteristic curve. We provide R implementations related to this tutorial at the end.

研究の動機と目的

• 統計およびデータサイエンス分野の研究者を対象に、核密度推定（KDE）の自己完結的かつアクセス可能な入門を提供すること。
• バイアス補正、信頼区間の構築、高次元設定における統計的妥当性といったKDE推定の主な課題に取り組むこと。
• KDEを密度推定の範囲を越えて、局所的モード、等高線集合、リッジ、クラスターツリーといった幾何的・位相的特徴を推定することに拡張すること。
• 累積分布関数および受信者操作特性（ROC）曲線の推定におけるKDEの実用的応用を示すこと。
• 特に非密度推定量の信頼区間、高次元における課題、および位相的構造に対する一様に有効な推定に関する未解決問題を強調すること。

提案手法

• 標準的なKDEの式を使用：$\widehat{p}_n(x) = \frac{1}{nh^d} \sum_{i=1}^n K\left(\frac{x - X_i}{h}\right)$、ガウスカーネルや球形カーネルなどの一般的なカーネルを用いる。
• 平均統合二乗誤差（MISE）を最小化するバンド幅選択法を適用し、プラグイン法や交差検証法を含む。
• ブートストラップ再標本法と理論的近似を用いて信頼区間を構築し、アンダースムージングまたはバイアス補正推定量によるバイアス補正に注意を払う。
• 勾配およびヘッセ行列の解析を用いて、密度推定量の勾配とヘッセ行列を分析し、局所的モード、等高線集合、リッジ、モース＝スメイド複体、クラスターツリーといった幾何的特徴を推定する。
• 2つの標本の統合されたKDEを用いて、ROC曲線を滑らかに推定し、経験的CDFの代わりにカーネルスムージング推定量を用いる。
• ブートストラップに基づく信頼区間を滑らかなROC曲線の推定に提案し、Hallら（2004年）およびHorváthら（2008年）による理論的裏付けを提示する。

実験結果

リサーチクエスチョン

• RQ1 バイアスを考慮しつつ、密度関数の有効な信頼区間を構築するために核密度推定をどのように利用できるか？
• RQ2 密度微分およびリッジやモードといった幾何的特徴を推定するための最適なバンド幅選択戦略は何か？
• RQ3 KDEをどのように拡張して、データから恒久的ダイアグラムやモース＝スメイド複体のような位相的構造を推定できるか？
• RQ4 経験的手法と比較して、KDEは累積分布関数および受信者操作特性（ROC）曲線の推定をどのように改善できるか？
• RQ5 高次元設定へのKDEの拡張および複雑な幾何的特徴に対する一様に有効な信頼領域の構築に関して、主な未解決問題は何か？

主な発見

• KDEは平均統合二乗誤差（MISE）の観点で$O(n^{-\frac{2}{d+4}})$の収束速度を達成するが、次元の呪いのため高次元では著しく劣化する。
• アンダースムージング、バイアス補正推定量、またはオーバースムージングを用いることで、KDEにおけるバイアスを効果的に管理でき、各アプローチに理論的裏付けが与えられている。
• 密度推定量の勾配およびヘッセ行列の解析を用いることで、局所的モード、リッジ、等高線集合といった幾何的特徴を信頼性高く推定できる。
• KDEから導かれるモース＝スメイド複体およびクラスターツリーは、非パラメトリッククラスタリングおよび位相的データ解析のための堅牢なフレームワークを提供する。
• KDEによるROC曲線のスムージング推定は、経験的推定量よりも連続的で解釈が容易な曲線をもたらし、この推定量に対するブートストラップ信頼区間は理論的に有効である。
• 位相的特徴に対する一様に有効な信頼区間の構築、および非密度推定量（ハザード関数や回帰関数など）の高次元におけるKDE推定への拡張に関して、未解決の問題が残っている。