[论文解读] Bayesian Hierarchical Mixtures of Experts

Chris Bishop, Markus Svenskn|arXiv (Cornell University)|Oct 19, 2012

Gaussian Processes and Bayesian Inference参考文献 8被引用 123

一句话总结

本文提出一种使用变分推断的全贝叶斯分层专家混合（HME）模型，以解决传统最大似然训练的HME模型在过拟合和模型复杂度方面的问题。通过结合局部与全局变分近似，该方法推导出边缘似然的严格下界，从而实现合理的模型选择，并在机器人手臂运动学数据上实现更好的泛化性能。

ABSTRACT

The Hierarchical Mixture of Experts (HME) is a well-known tree-based model for regression and classification, based on soft probabilistic splits. In its original formulation it was trained by maximum likelihood, and is therefore prone to over-fitting. Furthermore the maximum likelihood framework offers no natural metric for optimizing the complexity and structure of the tree. Previous attempts to provide a Bayesian treatment of the HME model have relied either on ad-hoc local Gaussian approximations or have dealt with related models representing the joint distribution of both input and output variables. In this paper we describe a fully Bayesian treatment of the HME model based on variational inference. By combining local and global variational methods we obtain a rigourous lower bound on the marginal probability of the data under the model. This bound is optimized during the training phase, and its resulting value can be used for model order selection. We present results using this approach for a data set describing robot arm kinematics.

研究动机与目标

• 解决通过最大似然训练的传统分层专家混合（HME）模型中的过拟合问题。
• 为HME提供一种合理的贝叶斯处理方法，支持模型复杂度与结构选择。
• 开发一种结合局部与全局近似的变分推断框架，以实现准确的后验估计。
• 通过边缘似然的下界实现自动模型阶次选择。
• 在真实世界回归任务（机器人手臂运动学）上展示该方法的有效性。

提出的方法

• 通过在所有模型参数（包括专家权重和门控网络参数）上设置先验，构建全贝叶斯HME模型。
• 应用局部变分推断，对每个数据点的潜在变量和专家参数的后验进行近似。
• 使用全局变分推断，对超参数和树结构的联合后验进行近似。
• 通过结合局部与全局变分近似，推导边缘似然的下界。
• 在训练过程中优化变分下界，以同时学习模型参数并选择最优树结构。
• 将下界的最终值用作模型阶次选择的标准，倾向于选择更简单、更具泛化能力的模型。

实验结果

研究问题

• RQ1 与最大似然训练相比，HME模型的全贝叶斯处理是否能改善泛化性能并减少过拟合？
• RQ2 如何有效结合变分推断中的局部与全局近似，以处理HME的分层结构？
• RQ3 变分下界能否作为选择最优模型复杂度与树结构的可靠度量？
• RQ4 与依赖启发式近似或联合建模输入输出的现有贝叶斯HME方法相比，所提方法是否表现更优？
• RQ5 该方法在真实世界回归任务（如机器人手臂运动学预测）中的表现如何？

主要发现

• 所提出的贝叶斯HME模型通过合理设置先验引入不确定性，相比最大似然训练的HME模型，实现了更好的泛化性能。
• 边缘似然的变分下界为模型选择提供了可靠且可优化的度量，实现了自动复杂度控制。
• 局部与全局变分近似的结合，相比以往的启发式方法，能获得更准确、更稳定的后验近似。
• 该方法在机器人手臂运动学数据集上成功识别出简洁的树结构，在模型拟合与复杂度之间实现良好平衡。
• 最终的变分下界值可作为传统准则（如AIC或BIC）的合理替代方案，用于模型比较。
• 在机器人手臂数据集上的实证结果表明，贝叶斯HME模型相比基线HME模型实现了更低的预测误差。