[论文解读] Constraining the Dynamics of Deep Probabilistic Models

Marco Lorenzi, Maurizio Filippone|arXiv (Cornell University)|Feb 15, 2018

Gaussian Processes and Bayesian Inference参考文献 32被引用 15

一句话总结

本文提出了一种灵活且可扩展的框架，通过将约束嵌入生成过程并使用随机变分推断，实现对深度概率模型（特别是深度高斯过程）的软等式与不等式约束。该方法在约束建模任务中达到最先进性能，包括常微分方程参数推断和计数数据的单调回归，且在数据量和约束数量上均实现线性可扩展性。

ABSTRACT

We introduce a novel generative formulation of deep probabilistic models implementing "soft" constraints on their function dynamics. In particular, we develop a flexible methodological framework where the modeled functions and derivatives of a given order are subject to inequality or equality constraints. We then characterize the posterior distribution over model and constraint parameters through stochastic variational inference. As a result, the proposed approach allows for accurate and scalable uncertainty quantification on the predictions and on all parameters. We demonstrate the application of equality constraints in the challenging problem of parameter inference in ordinary differential equation models, while we showcase the application of inequality constraints on the problem of monotonic regression of count data. The proposed approach is extensively tested in several experimental settings, leading to highly competitive results in challenging modeling applications, while offering high expressiveness, flexibility and scalability.

研究动机与目标

• 开发一种通用且灵活的方法，用于在深度概率模型中对函数动态施加软约束，包括对函数及其导数的等式与不等式约束。
• 在施加此类约束的条件下，实现对模型参数与预测结果的准确且可扩展的不确定性量化。
• 解决常微分方程模型中的参数推断挑战，其中精确推断在计算上不可行。
• 支持计数数据的单调回归，这是生物医学与流行病学建模中的常见需求。
• 提供一种可扩展的端到端推断框架，与深度概率模型及现代优化工具兼容。

提出的方法

• 将约束形式化为生成过程中的软惩罚项，允许违反约束但通过概率公式对其进行惩罚。
• 使用随机变分推断来近似模型与约束参数的后验分布，从而实现可扩展的学习。
• 推导出模型证据的下界，以支持在约束设置下的变分推断。
• 利用自动微分实现高效的梯度计算，促进实现与GPU加速。
• 将该框架应用于具有组合式高斯过程结构的深度高斯过程（DGPs），同时保持可扩展至概率深度神经网络。
• 通过虚拟输入实现约束，使模型能够对偏离期望动态（如ODE解或单调性）的行为施加惩罚。

实验结果

研究问题

• RQ1 能否有效将函数动态的软约束嵌入深度概率模型中，以提升建模精度与可解释性？
• RQ2 在深度模型中施加复杂约束时，如何可靠地量化预测与参数的不确定性？
• RQ3 所提出的框架是否能在常微分方程参数推断任务中实现具有竞争力的性能，同时实现与数据量和约束数的线性可扩展性？
• RQ4 在计数数据回归中，能否有效在深度概率模型中施加如单调性等不等式约束？
• RQ5 与最先进方法相比，该方法在可扩展性与建模精度方面表现如何？

主要发现

• 由于能够建模非平稳性，两层深度高斯过程在数据拟合与参数估计方面优于浅层高斯过程与Matérn协方差高斯过程，尤其在大样本量下表现更优。
• 在常微分方程参数推断任务中，所提方法实现了与最先进方法相当的性能，同时实现了对参数与预测结果的完整不确定性量化。
• 在计数数据的单调回归中，约束型DGP模型成功实现了单调性约束，其导数分布集中于正域，与专用单调高斯过程方法的结果一致。
• 该方法在观测数与约束数上均实现线性可扩展性，并通过自动微分支持高效的GPU加速推断。
• 该框架实现了对模型参数与约束参数的端到端后验推断，提供了对生物医学等实际应用至关重要的有意义的不确定性估计。
• 在FitzHugh-Nagumo方程基准测试中，该方法在低样本量与高样本量下均优于浅层模型，能够更有效地捕捉复杂非平稳动态。