[论文解读] Adaptive estimation of conditional density function

Karine Bertin, Claire Lacour+1 more|arXiv (Cornell University)|Dec 27, 2013

Statistical Methods and Inference被引用 6

一句话总结

该论文提出了一种基于核方法和投影方法的自适应条件密度估计方法，针对固定的 $ x $ 点估计 $ f(Y|X) $，并采用Goldenshluger-Lepski方法进行调参。研究在各向异性的Hölder球上建立了最优极小极大风险率，并明确分析了 $ f_X(x) $ 对收敛速率的影响，实现了Oracle不等式和极小极大最优性。

ABSTRACT

In this paper we consider the problem of estimating $f$, the conditional density of $Y$ given $X$, by using an independent sample distributed as $(X,Y)$ in the multivariate setting. We consider the estimation of $f(x,.)$ where $x$ is a fixed point. We define two different procedures of estimation, the first one using kernel rules, the second one inspired from projection methods. Both adapted estimators are tuned by using the Goldenshluger and Lepski methodology. After deriving lower bounds, we show that these procedures satisfy oracle inequalities and are optimal from the minimax point of view on anisotropic H\{o}lder balls. Furthermore, our results allow us to measure precisely the influence of $\fx(x)$ on rates of convergence, where $\fx$ is the density of $X$. Finally, some simulations illustrate the good behavior of our tuned estimates in practice.

研究动机与目标

• 在多变量设定下，为固定设计点 $ x $ 的条件密度 $ f(Y|X) $ 开发自适应估计器。
• 通过数据驱动的调参方法，解决条件密度估计中未知光滑性的问题。
• 为所提出的估计器建立极小极大最优性和Oracle不等式。
• 量化边际密度 $ f_X(x) $ 对条件密度估计收敛速率的影响。

提出的方法

• 采用核方法估计，并通过Goldenshluger-Lepski方法选择带宽，以平衡偏差与方差。
• 采用投影方法，通过基展开并利用Goldenshluger-Lepski过程选择投影维数，以适应未知光滑性。
• 调参过程通过在一系列候选值中比较估计器，选择最优平滑参数或投影维数。
• 该方法应用于各向异性的Hölder球，允许不同坐标方向具有不同的光滑程度。
• 理论分析推导了风险的上界，并与下界进行比较，以证明极小极大最优性。
• 明确分析了 $ f_X(x) $，即 $ X $ 在点 $ x $ 处的边际密度，对收敛速率的影响。

实验结果

研究问题

• RQ1 当条件密度的光滑性未知时，如何实现 $ f(Y|X) $ 的自适应估计？
• RQ2 $ f_X(x) $，即 $ X $ 在 $ x $ 处的边际密度，对条件密度估计器收敛速率的精确影响是什么？
• RQ3 核方法和投影方法能否通过自适应调参，在多变量设定下实现最优极小极大收敛率？
• RQ4 所提出的估计器是否满足反映其对未知光滑性自适应能力的Oracle不等式？
• RQ5 所推导的风险上界是否紧致，即是否与已建立的极小极大率下界一致？

主要发现

• 所提出的核方法和投影方法估计器在各向异性的Hölder球上实现了最优极小极大收敛率，证实了其对未知光滑性的自适应能力。
• 估计器满足Oracle不等式，表明其性能几乎等同于已知光滑性类别的理想情形。
• 收敛速率明确依赖于 $ f_X(x) $，当 $ f_X(x) $ 较小时收敛更慢。
• 推导的下界与估计器的上界一致，证实了极小极大最优性。
• 模拟结果验证了调参后估计器的实际有效性，展示了在各种设计点上的良好性能。