[论文解读] Fast Nonparametric Conditional Density Estimation

Michael P. Holmes, Alexander Gray+1 more|arXiv (Cornell University)|Jun 20, 2012

Data Management and Algorithms参考文献 10被引用 37

一句话总结

本文提出了一种快速、非参数化的条件密度估计方法，采用双核方法并结合双树算法，通过最大似然法加速带宽选择。该方法实现了高达380万倍的加速，首次使高维多变量数据（如斯隆数字天空调查的红移预测任务）的可扩展应用成为可能。

ABSTRACT

Conditional density estimation generalizes regression by modeling a full density f(yjx) rather than only the expected value E(yjx). This is important for many tasks, including handling multi-modality and generating prediction intervals. Though fundamental and widely applicable, nonparametric conditional density estimators have received relatively little attention from statisticians and little or none from the machine learning community. None of that work has been applied to greater than bivariate data, presumably due to the computational difficulty of data-driven bandwidth selection. We describe the double kernel conditional density estimator and derive fast dual-tree-based algorithms for bandwidth selection using a maximum likelihood criterion. These techniques give speedups of up to 3.8 million in our experiments, and enable the first applications to previously intractable large multivariate datasets, including a redshift prediction problem from the Sloan Digital Sky Survey.

研究动机与目标

• 解决高维设置下非参数化条件密度估计缺乏可扩展方法的问题。
• 克服多变量条件密度估计中数据驱动带宽选择带来的计算瓶颈。
• 使非参数化条件密度估计能够实际应用于大规模真实世界多变量数据集。
• 开发高效算法，在显著降低计算时间的同时保持统计准确性。
• 在复杂高维问题（如从天文数据中预测红移）上展示该方法的可行性。

提出的方法

• 提出双核条件密度估计器作为建模 f(y|x) 的非参数方法，无需参数假设。
• 采用最大似然准则进行数据驱动带宽选择，以提高估计准确性。
• 利用双树算法加速核密度估计和带宽选择的计算。
• 利用空间划分树（如 k-d 树或球树）降低核求和的计算复杂度。
• 在树结构内应用类似快速多极子的技术，高效近似核求和。
• 通过利用树结构中的几何稀疏性和层次分解，将方法扩展至高维数据。

实验结果

研究问题

• RQ1 非参数化条件密度估计能否在高维多变量数据上实现计算上的可行性？
• RQ2 如何在不牺牲统计准确性的情况下加速双核估计器中的带宽选择？
• RQ3 在条件密度估计中，使用双树算法进行带宽选择可实现多大的加速？
• RQ4 该方法能否成功应用于具有超过两个变量的真实世界大规模数据集？
• RQ5 在高维数据上，该方法在速度和估计质量方面是否优于现有方法？

主要发现

• 所提出的基于双树的带宽选择方法相比朴素计算，实现了高达380万倍的加速。
• 该方法首次使非参数化条件密度估计在高维多变量数据集（如斯隆数字天空调查的红移预测任务）上实现实际应用。
• 双核估计器成功捕捉了复杂、多峰的条件密度，这是参数模型可能遗漏的。
• 带宽选择采用最大似然准则，相比启发式或固定带宽方法，显著提高了估计准确性。
• 该算法能有效扩展至具有超过两个输入变量的数据集，克服了以往非参数方法的主要局限。
• 实验结果表明，该方法在大幅降低运行时间的同时保持了高预测准确性，使其适用于真实世界应用。