[论文解读] GP-select: Accelerating EM using adaptive subspace preselection

Jacquelyn A. Shelton, Jan Gasthaus+3 more|arXiv (Cornell University)|Dec 10, 2014

Gaussian Processes and Bayesian Inference参考文献 38被引用 7

一句话总结

该论文提出GP-select，一种非参数方法，通过高斯过程回归自适应学习选择函数，以识别相关隐变量，从而加速生成模型中的期望最大化（EM）算法。与以往需要人工设计函数的方法不同，GP-select从数据中学习，实现了最先进的性能：在复杂遮挡模型上，计算时间降低了98.8%（22.1秒 vs. 1830.9秒），同时保持了推理精度。

ABSTRACT

We propose a nonparametric procedure to achieve fast inference in generative graphical models when the number of latent states is very large. The approach is based on iterative latent variable preselection, where we alternate between learning a 'selection function' to reveal the relevant latent variables, and use this to obtain a compact approximation of the posterior distribution for EM; this can make inference possible where the number of possible latent states is e.g. exponential in the number of latent variables, whereas an exact approach would be computationally unfeasible. We learn the selection function entirely from the observed data and current EM state via Gaussian process regression. This is by contrast with earlier approaches, where selection functions were manually-designed for each problem setting. We show that our approach performs as well as these bespoke selection functions on a wide variety of inference problems: in particular, for the challenging case of a hierarchical model for object localization with occlusion, we achieve results that match a customized state-of-the-art selection method, at a far lower computational cost.

研究动机与目标

• 解决在隐状态空间呈指数级增长的模型中EM算法计算不可行的问题。
• 消除在EM加速的期望截断（ET）方法中对专家设计的、问题特定的选择函数的依赖。
• 开发一种通用的、非参数的方法，利用高斯过程回归从数据中学习选择函数。
• 实现在复杂模型（尤其是具有遮挡的层次化模型）中高效推理，其中手动设计选择函数不切实际。
• 实现与定制化选择函数相当的性能，同时显著降低计算成本。

提出的方法

• 该方法使用高斯过程回归学习一个非参数选择函数，将观测数据映射到相关的隐变量状态。
• 选择函数在EM迭代过程中自适应更新，利用当前模型参数和观测数据。
• 选择函数引导E-step仅关注后验概率较高的隐变量状态，从而降低计算负载。
• 高斯过程回归支持高效的一次性学习和快速再训练，实现对变化目标的自适应学习。
• 该方法作为黑箱元算法应用，无需针对模型进行特定工程设计。
• 核超参数定期更新（例如每5次EM步骤更新一次）或通过不完全Cholesky分解实现，以降低计算成本。

实验结果

研究问题

• RQ1 能否通过数据驱动的、非参数的方法学习到与手工设计的、问题特定的选择函数性能相当的EM推理选择函数？
• RQ2 通过高斯过程自适应学习选择函数，是否能在具有大规模隐状态空间的复杂模型中实现显著的计算加速？
• RQ3 GP-select能否在大幅降低计算时间的同时，保持与精确EM或手工工程选择函数相当的高推理精度？
• RQ4 非线性GP回归的灵活性是否对稀疏编码和层次化模型中复杂后验形状的建模至关重要？
• RQ5 选择函数能否被足够高效地学习，以使EM在大规模、高维隐变量模型中具备可扩展性？

主要发现

• 在层次化遮挡模型上，GP-select的推理精度与原始手工设计的选择函数无显著差异，经伪对数似然比较验证。
• 该方法将单核CPU上的推理时间从1830.9秒减少至22.1秒，计算量降低了98.8%。
• 即使采用近似方法（如不完全Cholesky分解或每5次迭代更新一次超参数），精度仍得以保持，并获得进一步提速。
• 在Spike-and-Slab模型中，非线性GP回归对建模复杂后验形状至关重要，线性回归因灵活性不足而失败。
• 该方法实现了在复杂层次化模型中高效推理，用于遮挡条件下的目标定位，而此前方法需大量手动工程。
• 学习选择函数的计算成本可控，使用高效近似方法后，超参数更新仅耗时194–390秒。