[論文レビュー] Local bandwidth selection for kernel density estimation in bifurcating Markov chain model

S. Valère Bitseki Penda, Angelina Roche|arXiv (Cornell University)|Jun 21, 2017

Markov Chains and Monte Carlo Methods参考文献 23被引用数 4

ひとこと要約

本稿は、多次元分岐マルコフ連鎖（BMCs）におけるカーネル密度推定のためのデータ駆動型局所帯域幅選択法を提案する。Goldenshuger-Lepski手法を依存構造を持つ木構造データに適応させ、BMC機能的量に対するベルンシュタイン型不等式を確立し、データに適応するペナルティ定数のキャリブレーションを導入することで、弱い依存性仮定のもとで最小最大最適レートを達成する。理論的保証と高次元設定における数値的妥当性を併せ持つ。

ABSTRACT

We propose an adaptive estimator for the stationary distribution of a bifurcating Markov Chain on $\mathbb R^d$. Bifurcating Markov chains (BMC for short) are a class of stochastic processes indexed by regular binary trees. A kernel estimator is proposed whose bandwidth is selected by a method inspired by the works of Goldenshluger and Lepski [18]. Drawing inspiration from dimension jump methods for model selection, we also provide an algorithm to select the best constant in the penalty.

研究の動機と目的

• 非パラメトリックカーネル密度推定における分岐マルコフ連鎖（BMCs）のデータ駆動型帯域幅選択の欠如に対処すること、特に多次元設定において。
• 標準的なi.i.d.データのための濃度不等式が適用できない木構造的依存性を持つBMCsに、Goldenshuger-Lepski法を拡張すること。
• カーネルと畳み込みを含むBMCの機能的量に対する、すべての正の偏差パラメータに対して有効で、標本サイズに依存しない新しいベルンシュタイン型不等式を提案すること。
• Goldenshuger-Lepski基準における分散項が未知の密度に依存する問題を解決し、ペナルティ定数のデータに適応するキャリブレーションを提案すること。
• 不変密度に関する正則性条件のもとで、選択された推定量のリスクに関する理論的保証を提供すること、特に最小最大最適性を含む。

提案手法

• 依存構造を持つBMCsにGoldenshuger-Lepski法を適応させるために、帯域幅選択子を定義し、その最小化によりバイアス・バリアンスの経験的妥協を達成する：$\widehat{h} = \arg\min_{h \in \mathcal{H}} \{ \widehat{A}(h) + bV(h) \}$、ここで$\widehat{A}(h)$はバイアスの推定値、$V(h)$は分散の代理となる量。
• 二分木上のカーネル機能的量から生じる従属確率変数の和に対する、すべての正の偏差パラメータに対して有効で、標本サイズに依存しない新しいベルンシュタイン型濃度不等式を導出する。
• ペナルティ定数$b$を、ArlotとMassart（2009）のアプローチを模倣したアルゴリズムによりデータから自動的にキャリブレーションする、修正された選択ルールを導入し、$V(h)$が未知の密度に依存する問題を克服する。
• 局所平滑性に適応する局所基準を用いることで、グローバルな帯域幅選択ではなく、点ごとのリスク制御を可能にする。
• 漸近的整合性を保証するため、$|h| \geq \log(|\mathbb{T}_n|)/|\mathbb{T}_n|$を満たす帯域幅の集合$\mathcal{H}_n$を用いる。
• 核関数および不変密度$\nu$に関する正則性条件のもとで、得られた推定量が最小最大最適収束レートを達成することを証明する。

実験結果

リサーチクエスチョン

• RQ1 依存的かつ木構造的である観測を持つ多次元分岐マルコフ連鎖におけるカーネル密度推定のためのデータ駆動型帯域幅選択ルールを開発できるか？
• RQ2 標準的な濃度不等式が適用できないBMCsのような従属構造を持つデータに、Goldenshuger-Lepski法をどのように適応できるか？
• RQ3 カーネルと畳み込みを含むBMCの機能的量に対する有効なベルンシュタイン型不等式は何か？そして、その不等式は経験的平均と期待値の乖離をどのように制御できるか？
• RQ4 ペナルティ項が未知の密度に依存する場合、Goldenshuger-Lepskiルールにおけるペナルティ項のキャリブレーションはどのように行い、最適な性能を保証するデータ駆動型アルゴリズムは何か？
• RQ5 得られた推定量に対して理論的リスクバウンドを確立できるか？また、正則密度のクラスにおいて、$\mathbb{L}_s$-リスクで最小最大最適性を達成するか？

主な発見

• 分岐マルコフ連鎖の機能的量に対する、すべての正の偏差パラメータに対して有効で、標本サイズに依存しない新しいベルンシュタイン型不等式が確立された。これにより、より鋭い濃度制御が可能になった。
• 核関数および不変密度に関する正則性条件のもとで、提案された帯域幅選択子は$\mathbb{L}_s$-リスクにおいて最小最大最適収束レートを達成する。
• データに適応するペナルティキャリブレーションアルゴリズムにより、密度に関する事前知識がなくても、最適なバイアス・バリアンストレードオフが達成される。
• 理論的解析により、帯域幅および定数に適切な条件が満たされれば、経験的カーネル平均の乖離の尾確率が$O(|\mathbb{T}_n|^{-1})$のオーダーで減少することが示された。
• 本手法はBMCの依存構造に対してロバストであり、帯域幅集合$\mathcal{H}_n$に一様に成り立つ非漸近的リスクバウンドを提供する。
• 数値的実験により、特に適応的帯域幅選択が重要となる高次元設定において、有限標本でも本手法の有効性が確認された。