[论文解读] Gaussian Process Conditional Density Estimation

Vincent Dutordoir, Hugh Salimbeni+2 more|arXiv (Cornell University)|Oct 30, 2018

Gaussian Processes and Bayesian Inference参考文献 16被引用 10

一句话总结

该论文提出高斯过程条件密度估计（GP-CDE），一种贝叶斯非参数模型，通过引入潜变量和高斯过程来建模复杂且非高斯的条件密度。通过在输入中增加潜变量，并采用带自然梯度的随机变分推断，GP-CDE 实现了在低数据量场景下的精确密度估计，并可扩展至大规模数据集，在数据稀缺环境下优于参数化模型（如 CVAE）。

ABSTRACT

Conditional Density Estimation (CDE) models deal with estimating conditional distributions. The conditions imposed on the distribution are the inputs of the model. CDE is a challenging task as there is a fundamental trade-off between model complexity, representational capacity and overfitting. In this work, we propose to extend the model's input with latent variables and use Gaussian processes (GP) to map this augmented input onto samples from the conditional distribution. Our Bayesian approach allows for the modeling of small datasets, but we also provide the machinery for it to be applied to big data using stochastic variational inference. Our approach can be used to model densities even in sparse data regions, and allows for sharing learned structure between conditions. We illustrate the effectiveness and wide-reaching applicability of our model on a variety of real-world problems, such as spatio-temporal density estimation of taxi drop-offs, non-Gaussian noise modeling, and few-shot learning on omniglot images.

研究动机与目标

• 解决在训练数据有限的场景下估计复杂且非高斯条件密度的挑战。
• 克服在数据稀缺时参数化模型（如 CVAE）出现的过拟合和过度集中问题。
• 通过带自然梯度的随机变分推断，实现条件密度估计的可扩展推断。
• 通过基于高斯过程的解码器将已知输入与潜变量结合，建模丰富且多模态的分布。
• 在时空和高维场景下，实现不同条件下学习表征的结构化共享。

提出的方法

• 通过引入潜变量 w 扩展输入空间，将潜变量 w 与观测输入 x 通过高斯过程联合建模。
• 通过识别（编码器）神经网络对给定 x 和 y 的潜变量 w 后验分布进行近似，实现高效推断。
• 对输入 x 和高斯过程输出 f 分别应用线性变换矩阵 A 和 P，以降低维度并建模输出相关性。
• 采用概率性高斯过程解码器将增强输入 (x, w) 映射到观测输出 y，支持不确定性传播和先验设定。
• 采用带自然梯度的随机变分推断进行可扩展训练，尤其在低数据量和高维场景下表现优异。
• 通过自然梯度优化变分目标，相比 Adam 等标准优化器，实现更快收敛和更优的近似质量。

实验结果

研究问题

• RQ1 基于高斯过程的模型是否能在低数据量场景下有效捕捉非高斯、多模态的条件密度？
• RQ2 引入潜变量后，与标准高斯过程回归或 CVAE 相比，密度估计性能有何提升？
• RQ3 与标准优化器相比，自然梯度优化在 GP-CDE 中对变分推断性能的提升程度如何？
• RQ4 通过共享潜结构，模型是否能实现跨条件泛化，尤其在时空或少样本学习任务中？
• RQ5 在数据稀缺条件下，GP-CDE 与参数化模型（如 CVAE）在测试对数似然和方差估计方面表现如何？

主要发现

• 在仅每类 2 个训练样本的 MNIST 数据集上，GP-CDE 的测试对数似然为 161.9，显著优于 CVAE 的 -129.72（方差固定）。
• 即使在 N=2 的训练样本下，该模型仍能保持稳定的方差估计，避免了 CVAE 出现的严重方差低估问题（相同条件下测试对数似然为 -1296.63）。
• 在 100 个样本的 '1' 数字数据集上，自然梯度优化达到测试对数似然 1.02，与解析解一致；而标准 Adam 优化仅达到 -0.13。
• 该模型成功捕捉了时空数据中多模态的出租车下车站点分布，展示了在真实世界密度估计任务中的实用性。
• GP-CDE 在条件间表现出良好泛化能力，通过在不同类别间共享潜结构，实现了 Omniglot 图像上的有效少样本学习。
• 线性变换 A 和 P 的使用提升了对高维输入和相关输出的建模能力，显著增强了在复杂数据领域中的性能。