[论文解读] Horseshoe Regularization for Machine Learning in Complex and Deep Models

Anindya Bhadra, Jyotishka Datta+2 more|arXiv (Cornell University)|Apr 24, 2019

Gaussian Processes and Bayesian Inference参考文献 90被引用 4

一句话总结

本文将正则化霍尔塞斯方法从线性高斯模型扩展到非线性、非高斯、多变量及深度神经网络设置，展示了其在复杂机器学习任务中的理论和计算可行性。本文提出方法论上的进展与软件实现，确立了霍尔塞斯先验作为现代机器学习应用中高维贝叶斯推断的一种可扩展、理论基础扎实的工具。

ABSTRACT

Since the advent of the horseshoe priors for regularization, global-local shrinkage methods have proved to be a fertile ground for the development of Bayesian methodology in machine learning, specifically for high-dimensional regression and classification problems. They have achieved remarkable success in computation, and enjoy strong theoretical support. Most of the existing literature has focused on the linear Gaussian case; see Bhadra et al. (2019b) for a systematic survey. The purpose of the current article is to demonstrate that the horseshoe regularization is useful far more broadly, by reviewing both methodological and computational developments in complex models that are more relevant to machine learning applications. Specifically, we focus on methodological challenges in horseshoe regularization in nonlinear and non-Gaussian models; multivariate models; and deep neural networks. We also outline the recent computational developments in horseshoe shrinkage for complex models along with a list of available software implementations that allows one to venture out beyond the comfort zone of the canonical linear regression problems.

研究动机与目标

• 填补现有文献中霍尔塞斯正则化主要局限于线性高斯模型的空白。
• 研究全局-局部收缩先验在复杂、高维机器学习模型中的理论与计算可行性。
• 为在非线性、非高斯、多变量及深度神经网络设置中应用霍尔塞斯先验提供方法论框架。
• 开发并整合易于使用的软件实现，支持在标准线性回归之外的实际应用。
• 通过可扩展的计算方法，弥合深度与复杂模型中理论最优性与实际性能之间的差距。

提出的方法

• 通过分层贝叶斯建模，将具有全局与局部收缩超参数的霍尔塞斯先验适配至非线性和非高斯似然模型。
• 采用变分贝叶斯与随机梯度MCMC方法，实现在高维与深度模型中的可扩展后验计算。
• 利用概率反向传播，将霍尔塞斯先验集成至贝叶斯神经网络与深度Sigmoid信念网络等深度学习架构中。
• 利用GPU加速的Gibbs采样（如通过CUDA）提升高维后验推断中的采样效率。
• 在Python、R、MATLAB与Scala中实现软件工具，支持TensorFlow与概率编程框架。
• 结合投影预测方法与动态收缩过程，拓展霍尔塞斯在图模型与时间序列设置中的实用性。

实验结果

研究问题

• RQ1 霍尔塞斯正则化在非线性与非高斯模型中是否能保持理论最优性与计算可扩展性？
• RQ2 如何有效将全局-局部收缩先验扩展至多变量与高维结构化模型？
• RQ3 与标准正则化相比，使用霍尔塞斯先验在深度神经网络中的计算权衡与性能增益如何？
• RQ4 变分贝叶斯与随机梯度MCMC方法在复杂模型中多大程度上实现了基于霍尔塞斯先验的可扩展后验推断？
• RQ5 支持霍尔塞斯正则化在现代机器学习流水线中广泛采用所需的软件基础设施是什么？

主要发现

• 尽管在这些设置中理论最优性框架仍有限，霍尔塞斯正则化在非线性与非高斯模型（包括深度神经网络）中表现出强劲的实证成功。
• 霍尔塞斯先验在高维问题中能有效实现稀疏性诱导与不确定性量化，某些情形下优于经典方法如Lasso。
• GPU加速实现（如GPUHorseshoe）显著提升了在probit模型中的采样速度，使大规模场景下的实际推断成为可能。
• 软件包如HS-BNN、Bayesian Compression与DeepGLM提供了即用型工具，支持在贝叶斯神经网络与深度学习中应用霍尔塞斯先验。
• 随机梯度MCMC方法在深度模型中实现贝叶斯推断方面展现出巨大潜力，表明通过霍尔塞斯先验实现完全贝叶斯深度学习的可行路径。
• 霍尔塞斯分布的本机TensorFlow实现已提供，支持与大规模机器学习工作流的集成。