[论文解读] End-to-End Learning for the Deep Multivariate Probit Model

Di Chen, Yexiang Xue+1 more|arXiv (Cornell University)|Jul 3, 2018

Neural Networks and Applications被引用 5

一句话总结

本文提出了深度多变量 probit 模型（DMVP），这是一种端到端可微分的深度学习框架，通过 GPU 优化的并行采样加速多变量 probit 推断。该方法相比经典 MVP 方法至少提升 10 倍速度，提升联合似然度，并在理论收敛保证下捕捉复杂实体相关性。

ABSTRACT

The multivariate probit model (MVP) is a popular classic model for studying binary responses of multiple entities. Nevertheless, the computational challenge of learning the MVP model, given that its likelihood involves integrating over a multidimensional constrained space of latent variables, significantly limits its application in practice. We propose a flexible deep generalization of the classic MVP, the Deep Multivariate Probit Model (DMVP), which is an end-to-end learning scheme that uses an efficient parallel sampling process of the multivariate probit model to exploit GPU-boosted deep neural networks. We present both theoretical and empirical analysis of the convergence behavior of DMVP's sampling process with respect to the resolution of the correlation structure. We provide convergence guarantees for DMVP and our empirical analysis demonstrates the advantages of DMVP's sampling compared with standard MCMC-based methods. We also show that when applied to multi-entity modelling problems, which are natural DMVP applications, DMVP trains faster than classical MVP, by at least an order of magnitude, captures rich correlations among entities, and further improves the joint likelihood of entities compared with several competitive models.

研究动机与目标

• 为解决经典多变量 probit 模型因高维潜变量积分而导致的计算不可行性问题。
• 开发一种深度学习框架，通过 GPU 上的高效并行采样实现多变量 probit 模型的端到端训练。
• 为多变量 probit 模型的深度泛化版本中的采样过程提供理论收敛保证。
• 与经典模型及竞争模型相比，提升多实体二值响应问题中的联合似然度与相关性建模能力。

提出的方法

• 提出深度多变量 probit 模型（DMVP），一种可微分的深度神经网络架构，用于参数化多变量 probit 模型的相关性结构。
• 采用与反向传播和 GPU 加速兼容的多变量 probit 似然并行采样策略。
• 将采样过程集成到深度学习流水线中，通过随机梯度下降实现模型参数的端到端优化。
• 使用重参数化技巧，使潜变量采样过程的梯度计算成为可能，确保可微性。
• 将该方法应用于多实体建模任务，联合建模多个相关实体的二值结果。
• 对采样过程中相关性结构分辨率的收敛性提供理论分析。

实验结果

研究问题

• RQ1 能否设计一种深度神经网络架构，以高效且端到端的方式学习具有高维潜相关性的多变量 probit 模型？
• RQ2 所提出的并行采样方法是否在收敛速度和可扩展性方面优于多变量 probit 模型中的标准 MCMC 推断方法？
• RQ3 与经典 MVP 模型及竞争模型相比，DMVP 在多实体二值响应问题中的联合似然度与相关性捕捉能力提升程度如何？
• RQ4 在深度多变量 probit 框架中，采样过程的收敛性可提供哪些理论保证？

主要发现

• DMVP 框架在多实体建模任务上的训练速度比经典多变量 probit 模型至少快一个数量级。
• 所提出的采样过程相比标准 MCMC 方法表现出更优的收敛行为，尤其在高维相关性结构下更为显著。
• DMVP 在多实体二值响应数据上的联合似然度高于多个竞争模型，表明其具有更优的相关性建模能力。
• 理论分析证实，采样过程在相关性结构分辨率方面具有收敛保证。
• 端到端可微设计使通过深度神经网络有效优化复杂相关性模式成为可能。