[論文レビュー] Adaptive pointwise estimation of conditional density function

Karine Bertin, Claire Lacour+1 more|arXiv (Cornell University)|Dec 28, 2013

Statistical Methods and Inference参考文献 32被引用数 5

ひとこと要約

本稿では、核規則および射影手法を用いて、多次元設定における $X=x$ 条件付き密度 $Y$ の自己適合的でデータ駆動型の推定量を提案する。チューニングには Goldenshluger-Lepski 法を用いる。非一様 Hölder 球上で最適なミニマックスレートを確立し、収束に与える $f_X(x)$ の影響を定量的に評価する。オラクル不等式および最小仮定のもとでの理論的最適性を達成する。

ABSTRACT

In this paper we consider the problem of estimating $f$, the conditional density of $Y$ given $X$, by using an independent sample distributed as $(X,Y)$ in the multivariate setting. We consider the estimation of $f(x,.)$ where $x$ is a fixed point. We define two different procedures of estimation, the first one using kernel rules, the second one inspired from projection methods. Both adapted estimators are tuned by using the Goldenshluger and Lepski methodology. After deriving lower bounds, we show that these procedures satisfy oracle inequalities and are optimal from the minimax point of view on anisotropic H{ö}lder balls. Furthermore, our results allow us to measure precisely the influence of $\mathrm{f}\_X(x)$ on rates of convergence, where $\mathrm{f}\_X$ is the density of $X$. Finally, some simulations illustrate the good behavior of our tuned estimates in practice.

研究の動機と目的

• 滑らかさに関する事前知識が不要な、完全にデータ駆動的で適応的な推定量を、固定点 $x$ における条件付き密度 $f(x, \cdot)$ の推定に開発すること。
• 理論的に妥当かつ計算的に実行可能な方法でハイパーパrameterをチューニングする課題に取り組むこと。
• 非一様 Hölder 滑らかさ仮定の下で、条件付き密度推定のミニマックス最適収束レートを導出すること。
• 周辺密度 $f_X(x)$ が推定精度に与える影響を特定し、特に $f_X(x)$ が小さいまたはゼロに近い場合の影響を明確に定量化すること。
• 実装可能性を保証するデータ駆動的選択ルールを用いて、理論的保証（オラクル不等式およびミニマックス最適性）を提供すること。

提案手法

• 条件付き密度 $f(x, \cdot)$ の推定に向け、2つの異なる推定手順を提案する：核ベース推定量と射影ベース推定量。
• Goldenshluger-Lepski 法を用いて、データ駆動的選択ルールにより帯域幅および射影次元を自動的にチューニングする。
• 非一様 Hölder 空間を用いて、多次元設定における異なる方向における不均一な滑らかさをモデル化する。
• 条件付き密度を同時密度推定量と周辺密度推定量の比として扱い、$f_X(x)$ に依存するバイアスと分散のトレードオフを注意深く取り扱う。
• 非漸近的リスク解析とミニマックス理論を組み合わせ、滑らかさクラス全体に一様に成り立つオラクル不等式を確立する。
• 真の滑らかさを事前に知る必要なしに、変動する局所的滑らかさレベルに最適な性能を達成する、革新的な適応戦略を適用する。

実験結果

リサーチクエスチョン

• RQ1 滑らかさに関する事前知識が不要な、自己適合的でデータ駆動的な推定量を構築でき、ミニマックス最適レートを達成できるか？
• RQ2 周辺密度 $f_X(x)$ が条件付き密度推定量の収束レートに与える影響は何か？ その影響は正確に定量化可能か？
• RQ3 Goldenshluger-Lepski 法は、交差検証を用いずに最適なチューニングを達成できるように、条件付き密度推定に効果的に適用可能か？
• RQ4 提案された核推定量および射影推定量は、非一様 Hölder 球上でオラクル不等式を満たし、ミニマックス最適性を達成するか？
• RQ5 有限標本設定において、特に $f_X(x)$ が小さい領域では、推定量はどのように性能を示すか？

主な発見

• 核推定量および射影推定量は、非一様 Hölder 球上で最適ミニマックス収束レートを達成し、収束レートが $f_X(x)$ に明示的に依存する。
• $f_X(x)$ が収束レートに与える影響は正確に定量化された：$f_X(x)$ が小さい場合、レートは劣化し、その劣化は避けられず理論的に特徴づけられている。
• 例1（$f_X$ が既知の場合）では、核推定量は $n=1000$、$\eta=2$ のとき平均二乗誤差（MSE）が 0.010 に達し、$\eta=3$ のとき 0.006 に達する。
• 例2（$f_X$ が未知の場合）では、射影推定量は $n=1000$、$\eta=1$ のとき MSE が 0.004 に達し、$\eta=3$ のとき 0.005 に達する。
• 例3では、核推定量は $x=1$、$\eta=3$、$n=1000$ のとき MSE が 0.006 を達成し、射影推定量は同じ点および標本サイズで 0.004 を達成する。
• シミュレーションでは、$f_X(x)$ が小さい場合や $\eta$ が大きい場合を除き、すべての例および標本サイズにおいて射影推定量が核推定量を一貫して上回り、MSE の観点で優れた性能を示す。