[论文解读] A Geometric Framework For Density Modeling

Sutanoy Dasgupta, Debdeep Pati+1 more|arXiv (Cornell University)|Jan 20, 2017

Bayesian Methods and Mixture Models参考文献 32被引用 2

一句话总结

本文提出了一种基于几何框架的单变量和条件概率密度估计方法，采用两步法：首先获得一个快速但次优的初始密度估计，然后通过映射到希尔伯特球切空间的微分同胚变形函数对之进行精炼。通过使用截断正交基展开的惩罚似然准则，该方法实现了更高的估计精度和渐近最优的收敛速率，优于经典条件密度方法，且无计算上的缺点。

ABSTRACT

We introduce a novel two-step approach for estimating a probability density function (pdf) given its samples, with the second and important step coming from a geometric formulation. The procedure involves obtaining an initial estimate of the pdf and then transforming it via a warping function to reach the final estimate. The initial estimate is intended to be computationally fast, albeit suboptimal, but its warping creates a larger, flexible class of density functions, resulting in substantially improved estimation. The search for optimal warping is accomplished by mapping diffeomorphic functions to the tangent space of a Hilbert sphere, a vector space whose elements can be expressed using an orthogonal basis. Using a truncated basis expansion, we estimate the optimal warping under a (penalized) likelihood criterion and, thus, the optimal density estimate. This framework is introduced for univariate, unconditional pdf estimation and then extended to conditional pdf estimation. The approach avoids many of the computational pitfalls associated with classical conditional-density estimation methods, without losing on estimation performance. We derive asymptotic convergence rates of the density estimator and demonstrate this approach using both synthetic datasets and real data, the latter relating to the association of a toxic metabolite on preterm birth.

研究动机与目标

• 开发一种计算高效且灵活的概率密度函数估计框架，以克服经典方法的局限性。
• 通过将变形函数嵌入几何空间来增强模型灵活性，解决条件密度估计的挑战。
• 通过两步法（初始密度估计后接几何变形）实现更高的估计精度。
• 在惩罚似然准则下推导所提出密度估计器的渐近收敛速率。
• 在合成数据和真实世界应用（包括毒代物对早产影响）中展示该方法的有效性。

提出的方法

• 该方法首先从样本数据中获得一个快速但次优的初始密度估计。
• 应用微分同胚变形函数将初始估计转换为更具灵活性的精炼密度模型。
• 将变形函数映射到希尔伯特球的切空间，将其转换为具有正交基表示的向量空间。
• 在惩罚似然准则下，使用截断基展开估计最优变形，以平衡拟合度与平滑性。
• 通过在变形函数公式中引入协变量，将该框架扩展至条件密度估计。
• 通过分析惩罚似然准则下的估计误差，推导出渐近收敛速率。

实验结果

研究问题

• RQ1 结合快速初始估计与几何变形的两步密度估计框架，是否能优于经典方法？
• RQ2 如何在希尔伯特球切空间中有效参数化和优化微分同胚变换以实现密度建模？
• RQ3 在惩罚似然准则下，所提出密度估计器的渐近收敛速率是多少？
• RQ4 几何变形框架在条件密度估计中能多大程度上提升估计精度？
• RQ5 该方法在真实世界数据上的表现如何，特别是在毒代物与早产之间复杂生物学关联中的表现？

主要发现

• 所提出的框架实现了密度估计器的渐近最优收敛速率，表现出理论上的鲁棒性。
• 利用希尔伯特球切空间可高效优化变形函数，借助正交基展开。
• 两步法显著提升了估计精度，即使初始计算快速且次优。
• 该方法在精度和计算效率方面均优于经典条件密度估计技术。
• 在合成数据和真实数据（包括早产研究）上的实证结果，证实了该方法的实际效用和鲁棒性。
• 惩罚似然准则能有效控制过拟合，同时保持变形函数空间的灵活性。