[论文解读] A likelihood approach to nonparametric estimation of a singular distribution using deep generative models

Minwoo Chae, Dongha Kim+2 more|arXiv (Cornell University)|May 9, 2021

Bayesian Methods and Mixture Models参考文献 76被引用 13

一句话总结

该论文提出了一种基于似然的方法，通过实例噪声的数据扰动，一致地估计高维空间中支持在低维流形上的奇异分布。通过扰动观测数据，该方法利用深度生成模型实现了稳定的非参数估计，达到了最优收敛速率，并避免了对结构化分布（如流形、光滑密度和乘积分布）的维度灾难问题。

ABSTRACT

We investigate statistical properties of a likelihood approach to nonparametric estimation of a singular distribution using deep generative models. More specifically, a deep generative model is used to model high-dimensional data that are assumed to concentrate around some low-dimensional structure. Estimating the distribution supported on this low-dimensional structure, such as a low-dimensional manifold, is challenging due to its singularity with respect to the Lebesgue measure in the ambient space. In the considered model, a usual likelihood approach can fail to estimate the target distribution consistently due to the singularity. We prove that a novel and effective solution exists by perturbing the data with an instance noise, which leads to consistent estimation of the underlying distribution with desirable convergence rates. We also characterize the class of distributions that can be efficiently estimated via deep generative models. This class is sufficiently general to contain various structured distributions such as product distributions, classically smooth distributions and distributions supported on a low-dimensional manifold. Our analysis provides some insights on how deep generative models can avoid the curse of dimensionality for nonparametric distribution estimation. We conduct a thorough simulation study and real data analysis to empirically demonstrate that the proposed data perturbation technique improves the estimation performance significantly.

研究动机与目标

• 解决在高维环境空间中对支持在低维流形上的奇异分布进行一致非参数估计的挑战。
• 克服标准似然方法因目标分布相对于Lebesgue测度的奇异性质而失效的问题。
• 在具有加性噪声的非线性因子模型下，利用深度生成模型开发一个统计一致的估计框架。
• 表征可通过深度生成模型有效估计的分布类别，包括光滑分布、乘积分布和流形结构分布。
• 证明通过实例噪声进行数据扰动能实现最优收敛速率，并避免在低维流形上的非参数分布估计中的维度灾难。

提出的方法

• 将高维观测建模为 ${\bf X} = {\bf f}({\bf Z}) + \bm{\epsilon}$，其中 ${\bf f}$ 是一个深度神经网络，${\bf Z}$ 是潜变量，且 $\bm{\epsilon} \sim \mathcal{N}(0, \sigma^2 I_D)$。
• 对观测数据引入实例特定的噪声扰动，以打破奇异性质，从而实现一致的最大似然估计。
• 在一类深度神经网络生成器上使用筛子最大似然估计器（MLE）来估计潜在分布 $Q_*$。
• 证明扰动似然方法在温和正则性条件下可实现对 $Q_*$ 的一致估计，其收敛速率取决于真实生成器的光滑度和噪声水平。
• 建立关于密度总变差和噪声方差的Wasserstein距离 $W_1(Q_*, Q)$ 的理论界。
• 在真实生成器的正则性条件下（包括导数的光滑性和有界性），推导估计误差的收敛速率。

实验结果

研究问题

• RQ1 标准似然方法能否在高维空间中一致估计支持在低维流形上的奇异分布？
• RQ2 在目标分布奇异的情况下，通过实例噪声进行数据扰动能否恢复深度生成模型中最大似然估计的一致性？
• RQ3 在所提出的扰动框架下，哪些分布类别可以通过深度生成模型实现高效估计？
• RQ4 使用该扰动似然方法估计潜在分布的最优收敛速率是什么？
• RQ5 所提出的方法如何避免在低维流形上的非参数分布估计中的维度灾难问题？

主要发现

• 由于目标分布相对于环境空间中的Lebesgue测度具有奇异性质，标准似然方法无法一致估计奇异分布。
• 通过实例噪声进行数据扰动可实现对潜在分布 $Q_*$ 的一致估计，且在温和正则性条件下，扰动似然方法可实现一致性。
• 所提出方法的收敛速率可达 $n^{-\frac{\beta_* - t_* \alpha}{2\beta_* + t_*}} (\log n)^{3/2}$，其中 $\beta_*$ 和 $t_*$ 分别表示真实生成器的光滑度和维度参数。
• 当噪声水平 $\sigma_*$ 选择最优时，收敛速率可达到 $n^{-\frac{\beta_*}{2(\beta_* + t_*)}} (\log n)^{3/2}$，该速率在给定光滑度假设下为最优。
• 可估计分布的类别包括光滑密度、乘积分布以及支持在低维流形上的分布，表明其具有广泛适用性。
• 模拟和真实数据分析的实证结果表明，所提出的扰动技术显著优于标准似然方法的估计性能。