[论文解读] Exploiting the Statistics of Learning and Inference

Max Welling|arXiv (Cornell University)|Feb 26, 2014

Gaussian Processes and Bayesian Inference参考文献 20被引用 5

一句话总结

该论文通过利用统计冗余性，采用随机子采样和不确定性感知更新，提出了适用于大规模数据和复杂模拟的计算高效贝叶斯推断与学习方法。它引入高斯过程代理模型以重用模拟数据，在保持MCMC有效性的同时减少昂贵的重复模拟，方法包括自适应小批量和模型拟合的假设检验。

ABSTRACT

When dealing with datasets containing a billion instances or with simulations that require a supercomputer to execute, computational resources become part of the equation. We can improve the efficiency of learning and inference by exploiting their inherent statistical nature. We propose algorithms that exploit the redundancy of data relative to a model by subsampling data-cases for every update and reasoning about the uncertainty created in this process. In the context of learning we propose to test for the probability that a stochastically estimated gradient points more than 180 degrees in the wrong direction. In the context of MCMC sampling we use stochastic gradients to improve the efficiency of MCMC updates, and hypothesis tests based on adaptive mini-batches to decide whether to accept or reject a proposed parameter update. Finally, we argue that in the context of likelihood free MCMC one needs to store all the information revealed by all simulations, for instance in a Gaussian process. We conclude that Bayesian methods will remain to play a crucial role in the era of big data and big simulations, but only if we overcome a number of computational challenges.

研究动机与目标

• 解决传统MCMC和批量学习在百亿规模数据集或长时间运行模拟下的计算不可行性。
• 通过重用过去模拟避免冗余计算，克服标准近似贝叶斯计算（ABC）的低效性。
• 开发一种框架，在最小化计算成本的同时保持统计准确性，通过自适应、不确定性感知的模拟请求实现。
• 通过将批量方法替换为随机、任意时间算法，实现实时、任意时间的预测性能。
• 通过将计算效率整合到推断目标中，确保贝叶斯方法在大数据时代依然可行。

提出的方法

• 使用自适应步长退火的随机梯度下降（SGD），在任何固定计算时间内实现最优预测性能。
• 提出基于自适应小批量的假设检验，以决定是否接受或拒绝MCMC提议，减少对完整似然评估的依赖。
• 将所有模拟输出存储在高斯过程（GP）代理模型中，以建模未知的似然曲面并估计模型预测的不确定性。
• 利用GP代理模型计算充分统计量的完整后验分布，包括不确定性，以指导MH接受决策。
• 仅当GP预测的不确定性超过阈值时才触发新的模拟，确保计算效率。
• 集成类似贝叶斯优化的策略，智能选择新的参数值进行模拟，尽管由于详细平衡的丧失，收敛性无法保证。

实验结果

研究问题

• RQ1 如何使MCMC采样在每次评估需数小时计算时间的复杂模拟器上高效运行？
• RQ2 能否重用过去模拟以避免在无似然推断中产生冗余计算，同时不损害统计准确性？
• RQ3 在大规模数据和大规模模拟中，MH接受决策的计算成本与不确定性之间最优权衡是什么？
• RQ4 如何调整随机梯度方法，以确保大规模学习中的任意时间预测性能？
• RQ5 高斯过程代理模型在何种方式下可提升无似然贝叶斯推断的效率，同时保持MCMC有效性？

主要发现

• 像SGD这样的随机梯度方法可在任何固定计算时间内实现最优预测性能，而批量方法需要长时间收敛。
• 所提出的高斯过程代理模型（GPS）通过存储并重用所有先前模拟的信息，减少了重复模拟的需求。
• GP代理模型中的不确定性量化支持自适应模拟请求，仅在对MH决策的置信度不足时触发新模拟。
• 通过使用带有不确定性估计的代理似然，该方法在MCMC中保持了详细平衡，确保渐近正确性。
• 该方法即使在模拟成本高昂的情况下，也能通过智能重用历史数据和最小化冗余评估，实现向正确后验分布的收敛。
• 该框架支持任意时间学习，即模型性能随计算时间持续提升，适用于具有不可预测时间约束的现实系统。