[论文解读] An Introduction to the Practical and Theoretical Aspects of Mixture-of-Experts Modeling

Hien D. Nguyen, Faïcel Chamroukhi|arXiv (Cornell University)|Jul 12, 2017

Bayesian Methods and Mixture Models参考文献 68被引用 3

一句话总结

本文提出了一套全面的框架，用于通过概率门控和专家函数构建专家混合（MoE）模型，以近似复杂的生成过程（DGP）。该框架引入了具有相合性和渐近正态性保证的最大拟似然（MQL）估计方法，采用分块MM算法进行优化，并提出了一种通用的信息准则以选择组件数量，该方法在分类、聚类和回归示例中得到了验证。

ABSTRACT

Mixture-of-experts (MoE) models are a powerful paradigm for modeling of data arising from complex data generating processes (DGPs). In this article, we demonstrate how different MoE models can be constructed to approximate the underlying DGPs of arbitrary types of data. Due to the probabilistic nature of MoE models, we propose the maximum quasi-likelihood (MQL) estimator as a method for estimating MoE model parameters from data, and we provide conditions under which MQL estimators are consistent and asymptotically normal. The blockwise minorization-maximizatoin (blockwise-MM) algorithm framework is proposed as an all-purpose method for constructing algorithms for obtaining MQL estimators. An example derivation of a blockwise-MM algorithm is provided. We then present a method for constructing information criteria for estimating the number of components in MoE models and provide justification for the classic Bayesian information criterion (BIC). We explain how MoE models can be used to conduct classification, clustering, and regression and we illustrate these applications via a pair of worked examples.

研究动机与目标

• 解决使用专家混合（MoE）架构对复杂且异质的数据生成过程（DGPs）进行统一建模的需求。
• 为MoE模型中的MQL估计提供理论依据，确保在给定条件下估计量具有相合性和渐近正态性。
• 开发一种通用的算法框架——分块MM——以在多种MoE模型类型中高效实现MQL估计。
• 提出一种通用方法，用于构建信息准则，以选择MoE模型中的最优组件数量。
• 通过实际示例展示MoE模型在分类、聚类和回归任务中的实际效用。

提出的方法

• 使用门控函数 P(Z=z|X=x) = Gatez(x;γ) 对MoE模型进行形式化，以根据输入分配专家组件的权重。
• 将专家函数 f(y|X=x,Z=z) = Expertz(y|x;ηz) 定义为响应变量的参数化概率密度或质量函数。
• 将边际MoE模型构建为加权和：MoE(y|x;θ) = Σz Gatez(x;γ) × Expertz(y|x;ηz)，其中 θ = (γ, η1, ..., ηg)。
• 提出最大拟似然（MQL）估计作为参数估计的稳健方法，尤其适用于真实似然未知或错误指定的情况。
• 开发分块小化-最大化（blockwise-MM）算法框架，通过分解参数空间，迭代优化MQL目标。
• 推导出一种通用的信息准则用于模型选择，并为MoE情境下贝叶斯信息准则（BIC）的使用提供理论依据。

实验结果

研究问题

• RQ1 如何系统性地构建MoE模型，以在不同数据类型下近似任意类型的数据生成过程（DGPs）？
• RQ2 MQL估计量在MoE模型中具有哪些理论性质——特别是相合性和渐近正态性？
• RQ3 如何设计一种通用的优化算法，以实现MoE模型中MQL估计的优化，而不论具体门控函数和专家函数的形式如何？
• RQ4 可用于选择MoE模型中最优组件数量的标准是什么？这些标准如何获得理论支持？
• RQ5 MoE模型在实际应用（如分类、聚类和回归）中的表现如何？有哪些证据支持其有效性？

主要发现

• 在正则条件下，MoE模型的MQL估计量具有相合性和渐近正态性，为推断应用提供了强有力的理论支持。
• 分块MM算法框架通过迭代最小化一个代理函数，实现了MQL目标的稳定且高效的优化，确保了收敛性。
• 推导出一种用于选择MoE模型中组件数量的通用信息准则，并为贝叶斯信息准则（BIC）在MoE情境下的使用提供了理论依据。
• 实际示例表明，具有 g = 8 个组件的MoE模型能够准确拟合复杂信号，回归任务中拟合的均值函数与真实信号高度吻合。
• MoE模型在分类、聚类和回归任务中表现出色，论文中的可视化结果清晰展示了分量间的分割效果和均值函数的精确估计。
• 理论与实证结果共同表明，MoE模型能够灵活地建模异质且复杂的DGP，尤其当混合比例依赖于输入变量时，其能力超越了标准高斯混合模型。