[論文レビュー] Kernel Density Estimation for Dynamical Systems

Hanyuan Hang, Ingo Steinwart+2 more|arXiv (Cornell University)|Jul 13, 2016

Statistical Methods and Inference参考文献 39被引用数 3

ひとこと要約

本稿は、依存する観測値を伴う力学系におけるカーネル密度推定の普遍的一致性と収束速度を確立する。依存性は$C$-混合係数を用いてモデル化される。密度関数にややいなごましい Hölder 連続性の仮定のもと、カーネル推定量は、i.i.d. でない場合でも、被覆数とベルンシュタイン型不等式を組み合わせた新しい解析により、高確率で最適な$L_1$および$L_∞$収束速度を達成する。

ABSTRACT

We study the density estimation problem with observations generated by certain dynamical systems that admit a unique underlying invariant Lebesgue density. Observations drawn from dynamical systems are not independent and moreover, usual mixing concepts may not be appropriate for measuring the dependence among these observations. By employing the $\mathcal{C}$-mixing concept to measure the dependence, we conduct statistical analysis on the consistency and convergence of the kernel density estimator. Our main results are as follows: First, we show that with properly chosen bandwidth, the kernel density estimator is universally consistent under $L_1$-norm; Second, we establish convergence rates for the estimator with respect to several classes of dynamical systems under $L_1$-norm. In the analysis, the density function $f$ is only assumed to be Hölder continuous which is a weak assumption in the literature of nonparametric density estimation and also more realistic in the dynamical system context. Last but not least, we prove that the same convergence rates of the estimator under $L_\infty$-norm and $L_1$-norm can be achieved when the density function is Hölder continuous, compactly supported and bounded. The bandwidth selection problem of the kernel density estimator for dynamical system is also discussed in our study via numerical simulations.

研究の動機と目的

• 標準的な混合仮定が失敗する力学系における非i.i.d. 観測の下でのカーネル密度推定の挑戦に取り組む。
• 力学系から得られる一意な不変Lebesgue密度を持つ場合の密度推定のための統計的枠組みを構築する。
• $\nC$-混合依存構造下での一貫性と収束速度を確立する。これは、特定の力学系において古典的な$\nalpha$-または$\nbeta$-混合よりも適している。
• 真の密度関数に弱い正則性仮定（Hölder連続性）を課した場合の$L_1$および$L_∞$ノルムにおける収束速度を提供する。
• 数値シミュレーションを通じてバンド幅選択を検討し、力学系の文脈における実用的実装を支援する。

提案手法

• $\nC$-混合係数を用いて力学系によって生成される観測値間の依存性を定量化し、古典的な混合概念に代わる。
• $\nC$-混合のもとで、経験的推定量の期待値からの逸脱を制御するベルンシュタイン型指数不等式を用いる。
• 被覆数の議論を適用して関数族のエントロピーをバインドし、一様収束解析を可能にする。
• $L_1$誤差をバイアスとバリアンスの成分に分解し、バイアスはHölder連続性により制御し、バリアンスは集中不等式により制御する。
• 局所的密度推定を含む2段階近似スキームにおいて、バンド幅$h_n$と半径$r_n$を最適化することで収束速度を導出する。
• 密度関数がコンパクトな台、有界性、Hölder連続性を満たす場合、$L_1$と$L_∞$の収束速度が等価であることを確立する。

実験結果

リサーチクエスチョン

• RQ1 観測値が力学系によって生成され、かつ依存性を示す場合、カーネル密度推定は普遍的一致性を示せるか？
• RQ2 $\nC$-混合依存性のもとで、カーネル密度推定量の収束速度は、特に$L_1$および$L_∞$ノルムでどの程度達成可能か？
• RQ3 真の密度関数の正則性（例：Hölder連続性）は、カーネル推定量の収束速度にどのように影響するか？
• RQ4 コンパクトな台、有界性といった弱い仮定のもとで、$L_1$および$L_∞$ノルムで同じ収束速度が達成可能か？
• RQ5 力学系の文脈におけるカーネル密度推定において、バンド幅パラメータはどのように選択すべきか？

主な発見

• 適切にバンド幅$h_n$を選択した場合、$\nC$-混合条件下で$L_1$ノルムにおけるカーネル密度推定量は普遍的一致性を示す。
• 幾何的時間反転$\nC$-混合を示す力学系とHölder連続密度の下では、$L_1$ノルムにおける収束速度は高確率で$O\bigl(\bigl((\text{log } n)^{(2+\nu)/\nu}\bigr)/n\bigr)^{\frac{\nu\theta}{(1+\theta)(2\nu+d)-\nu}}$である。
• 密度関数が有界で、コンパクトな台を持ち、Hölder連続である場合、同じ収束速度が$L_1$および$L_∞$ノルムの両方で達成される。
• 指数的減衰を示す$\nC$-混合係数のもとでは、$L_1$ノルムにおける収束速度は$O\bigl(\bigl((\text{log } n)^{(2+\nu)/\nu}\bigr)/n\bigr)^{\frac{\nu}{2\nu+d}}(\text{log } n)^{\frac{d}{\theta}\frac{\nu+d}{2\nu+d}}$である。
• $L_1$ノルムの場合に最適な収束速度を達成するバンド幅$h_n$は、明示的に$h_n = \bigl((\text{log } n)^{(2+\nu)/\nu}/n\bigr)^{\frac{1}{2\nu+d}}$として導出される。
• 数値的シミュレーションの結果、提案されたバンド幅選択戦略は、実際の力学系の応用において安定的かつ正確な密度推定をもたらすことが示唆された。