[論文レビュー] The Gram-Charlier A Series based Extended Rule-of-Thumb for Bandwidth Selection in Univariate and Multivariate Kernel Density Estimations

Dharmani Bhaveshkumar C|arXiv (Cornell University)|Apr 3, 2015

Statistical Methods and Inference参考文献 10被引用数 5

ひとこと要約

本稿では、未知密度を近似的にガウス分布に近いものと仮定するための、ガウス・チャリエアA（GCA）級数展開を用いた、単変量および多変量カーネル密度推定（KDE）におけるバンド幅選択の拡張版ルール・オブ・スムース（ExROT）を提案する。古典的ルール・オブ・スムース（ROT）は正確なガウス性を仮定するが、本手法はそれを超えて、より良い近似を得るためにGCA級数展開を用いる。計算効率はROTと同等であり、プラグイン手法よりも顕著に低い。多変量AMISE表現の導出には、クライマー積とベクトル微分作用素を用いた、テンソル計算を回避するベクトル化された微積分が用いられる。

ABSTRACT

The article derives a novel Gram-Charlier A (GCA) Series based Extended Rule-of-Thumb (ExROT) for bandwidth selection in Kernel Density Estimation (KDE). There are existing various bandwidth selection rules achieving minimization of the Asymptotic Mean Integrated Square Error (AMISE) between the estimated probability density function (PDF) and the actual PDF. The rules differ in a way to estimate the integration of the squared second order derivative of an unknown PDF $(f(\cdot))$, identified as the roughness $R(f''(\cdot))$. The simplest Rule-of-Thumb (ROT) estimates $R(f''(\cdot))$ with an assumption that the density being estimated is Gaussian. Intuitively, better estimation of $R(f''(\cdot))$ and consequently better bandwidth selection rules can be derived, if the unknown PDF is approximated through an infinite series expansion based on a more generalized density assumption. As a demonstration and verification to this concept, the ExROT derived in the article uses an extended assumption that the density being estimated is near Gaussian. This helps use of the GCA expansion as an approximation to the unknown near Gaussian PDF. The ExROT for univariate KDE is extended to that for multivariate KDE. The required multivariate AMISE criteria is re-derived using elementary calculus of several variables, instead of Tensor calculus. The derivation uses the Kronecker product and the vector differential operator to achieve the AMISE expression in vector notations. There is also derived ExROT for kernel based density derivative estimator.

研究の動機と目的

• 未知密度の正確なガウス性を仮定する古典的ルール・オブ・スムース（ROT）を改善する、より精度の高いカーネル密度推定（KDE）のバンド幅選択ルールの開発。
• ガウス・チャリエアA（GCA）級数展開によるより柔軟な近似的ガウス仮定を用いることで、真の密度の2階微分の粗さ（$R(f''(\.))$）の推定バイアスを低減。
• 単変量ExROTを、テンソル計算を避けるためにクライマー積とベクトル微分作用素の形式を用いた、基本的な多変数微積分を用いて多変量KDEに拡張。
• カーネルベースの多変量密度微分推定に適した対応するExROTを導出することで、微分推定タスクにおける精度を向上。
• 計算効率と推定精度のバランスを図り、解方プラグインルールよりも高速でありながら、多様な非ガウス分布においてROTを上回るIMSE性能を提供。

提案手法

• 未知密度を近似的にガウス分布に近いものと仮定し、ガウス・チャリエアA（GCA）級数展開を用いて展開し、より高いモーメント（累積量）を組み込むことで、ROTのガウス仮定よりも真の密度をよりよく近似。
• ベクトル表記とベクトル微分作用素のクライマー積を用いて、多変量KDEの漸近的平均統合二乗誤差（AMISE）を導出。テンソル計算を回避。
• K-微分作用素（$\mathbf{D}_{\boldsymbol{\lambda}}^{\otimes}$）を用いて、多変数関数の高階偏微分をコンactなベクトル化形式で体系的に表現。
• K-微分作用素のスケーリングおよびチェインルールの性質を用いて、AMISE導出における多変数エルミート多項式およびGCA展開の式を簡略化。
• 得られたAMISE式を用いて、GCA展開からの累積量を用いて$R(f''(\cdot))$を推定することで、ROTにおけるガウスプラグインを置き換えることによりExROTを導出。
• 同様のベクトル化された微積分フレームワークを用いて、多変量密度微分推定のための対応するAMISEとバンド幅ルールを導出することにより、ExROTを微分推定タスクに拡張。

実験結果

リサーチクエスチョン

• RQ1 GCA級数展開によるより柔軟な近似的ガウス仮定に基づくバンド幅選択ルールは、単変量KDEにおけるIMSEの観点で、古典的ルール・オブ・スムース（ROT）を上回ることができるか？
• RQ2 テンソル計算に依存せずに、計算的に扱いやすい方法で多変量AMISEをどのように導出できるか？
• RQ3 GCA展開からの高階累積量を用いることで、多変量KDEにおけるバンド幅選択の精度にどのような影響を与えるか？
• RQ4 ExROTフレームワークは、計算コストにほぼ同等でありながら、より高い精度を達成するカーネルベースの密度微分推定に拡張可能か？
• RQ5 非ガウス分布の多様な分布に対して、ExROTは解方プラグインルールと比較して、計算複雑性と推定誤差の両面で優れているか？

主な発見

• ExROTは、非ガウス的で単峰性の分布（歪度、重さのある尾、外れ値に敏感な分布など）の広い範囲において、古典的ROTよりも顕著に低い統合平均二乗誤差（IMSE）を達成。
• ExROTは古典的ROTと同等の計算複雑性を維持しており、大規模またはリアルタイム応用に適している。
• ExROTはMISE（平均統合二乗誤差）性能においてROTを上回っており、実験的シミュレーションにより、多様なデータタイプにおいて一貫した改善が確認された。
• クライマー積とベクトル微分作用素の使用により、多変量AMISEの明快でベクトル化された導出が可能となり、テンソル計算の複雑さを回避しつつ数学的厳密性を保った。
• 多変量密度微分推定のためのExROTは、成功裏に導出され、計算的に効率的であることが示された。これにより、フレームワークは微分推定タスクにまで拡張された。
• GCAに基づく未知密度の近似は、累積量を用いることで、バンド幅選択に不可欠な$R(f''(\cdot))$（2階微分の粗さ）の推定をより正確に可能にした。