[論文レビュー] Data-driven density derivative estimation, with applications to nonparametric clustering and bump hunting

José E. Chacón, Tarn Duong|arXiv (Cornell University)|Apr 27, 2012

Bayesian Methods and Mixture Models参考文献 75被引用数 80

ひとこと要約

本稿では、多変量カーネル密度微分推定における最初の完全自動的でデータ駆動型の帯域幅選択手法を紹介する。高度な行列解析理論を活用することで、効率的かつ制約のない帯域幅行列の選択が可能になる。提案手法（交差検証、プラグイン、滑らか化交差検証）は最適収束速度を達成し、正確な勾配およびヘッセ行列推定を可能にすることで、非パラメトリッククラスタリングおよびバンプハントの性能を著しく向上させる。

ABSTRACT

Important information concerning a multivariate data set, such as clusters and modal regions, is contained in the derivatives of the probability density function. Despite this importance, nonparametric estimation of higher order derivatives of the density functions have received only relatively scant attention. Kernel estimators of density functions are widely used as they exhibit excellent theoretical and practical properties, though their generalization to density derivatives has progressed more slowly due to the mathematical intractabilities encountered in the crucial problem of bandwidth (or smoothing parameter) selection. This paper presents the first fully automatic, data-based bandwidth selectors for multivariate kernel density derivative estimators. This is achieved by synthesizing recent advances in matrix analytic theory which allow mathematically and computationally tractable representations of higher order derivatives of multivariate vector valued functions. The theoretical asymptotic properties as well as the finite sample behaviour of the proposed selectors are studied. {In addition, we explore in detail the applications of the new data-driven methods for two other statistical problems: clustering and bump hunting. The introduced techniques are combined with the mean shift algorithm to develop novel automatic, nonparametric clustering procedures which are shown to outperform mixture-model cluster analysis and other recent nonparametric approaches in practice. Furthermore, the advantage of the use of smoothing parameters designed for density derivative estimation for feature significance analysis for bump hunting is illustrated with a real data example.

研究の動機と目的

• 多変量カーネル密度微分推定における帯域幅選択という長年の課題に取り組み、理論的意義は高いが実用的応用が阻害されてきた問題を解決すること。
• 任意の順序の密度微分のための完全自動的でデータベースの帯域幅選択手法を開発し、これまでの進展を妨げてきた数学的非可解性を克服すること。
• 微分推定に特化した信頼性の高いデータ適応型スムージングパラメータを提供することで、非パラメトリッククラスタリングおよびバンプハントの強固な実装を可能にすること。
• 特に高次微分において、制約のない帯域幅行列が、単純なパrameterizationよりも推定効率が優れていることを示すこと。
• 提案手法の理論的裏付けと有限標本における妥当性を提供し、実世界の統計的問題における実用的有用性を保証すること。

提案手法

• Kronecker積と対称化行列を用いた行列解析的手法を用いて、高次多変量密度微分を形式化し、バイアスおよび分散成分の取り扱い可能な表現を導出する。
• 制約のない帯域幅行列を想定した、3つのデータ駆動型帯域幅選択手法（交差検証（CV）、プラグイン（PI）、滑らか化交差検証（SCV））を提案する。
• 4次テイラー展開とカーネル関数のモーメントに基づく近似を用いて、平均統合二乗誤差（MISE）およびその推定器の漸近的展開を導出する。
• 行列微分作用素DHを用いて帯域幅選択手法の収束を分析し、帯域幅行列のベクトル化形を介して、選択器のバイアスとMISE最小化器を結びつける。
• 3つの選択手法が、PIおよびSCVではO(n^{-2/(d+2r+6)})、CVではO(n^{-d/(2d+4r+8)})の最適収束速度を達成することを確立し、理論的下限と一致することを示す。
• 新しい帯域幅選択手法を平均シフトアルゴリズムに統合し、従来の混合モデルや他の非パラメトリック手法よりも優れる、新規の自動非パラメトリッククラスタリング手順を構築する。

実験結果

リサーチクエスチョン

• RQ1 完全自動的でデータ駆動型の帯域幅選択手法は、従来のヒューリスティック的または制約付きアプローチに制限を受ける多変量カーネル密度微分推定に適用可能か？
• RQ2 より高い柔軟性を持つにもかかわらず、提案手法の帯域幅選択は、単純な帯域幅パrameterizationと同等の最適収束速度を達成できるか？
• RQ3 新しい帯域幅選択手法は、既存手法と比較して非パラメトリッククラスタリングおよびバンプハントの性能をどのように向上させるか？
• RQ4 提案手法の有限標本における挙動はどのように振る舞い、推定精度およびロバストネスの観点から他の手法と比較してどうなるか？
• RQ5 密度微分推定に最適化された帯域幅を用いることで、特に複雑で高次元のデータにおいて、特徴の有意性検出が向上するか？

主な発見

• 提案されたデータ駆動型帯域幅選択手法（CV, PI, SCV）は、プラグインおよび滑らか化交差検証手法で最適収束速度O(n^{-2/(d+2r+6)})を達成し、理論的下限と一致する。
• 交差検証選択の収束速度はO(n^{-d/(2d+4r+8)})であり、最適速度より遅いが、漸近的に一貫しており、実用的に有効である。
• 有限標本におけるシミュレーションと実データ応用から、新しい帯域幅選択手法が平均シフトアルゴリズムによる非パラメトリッククラスタリングの性能を著しく向上させ、混合モデルや他の非パラメトリッククラスタリング手法を上回ることが示された。
• 密度微分推定に特化した帯域幅の使用は、バンプハントにおける特徴の有意性分析を向上させ、フローサイトメトリーの実データ例によって裏付けられた。
• 理論的分析により、特に高次微分において、制約のない帯域幅行列が、対角またはスカラーバンド幅よりも効率的であることが確認された。これは、データの真の幾何構造に適応できる能力に起因する。
• 帯域幅行列誤差のベクトル化形、vec(Ĥ - HMISE,r)は、PIおよびSCVではO(n^{-2/(d+2r+6)})、CVではO(n^{-d/(2d+4r+8)})の速度で収束することが示され、有限標本ではバイアスが平均二乗誤差を支配することが分かった。