[论文解读] Globally Consistent Algorithms for Mixture of Experts.

Ashok Vardhan Makkuva, Sreeram Kannan+1 more|arXiv (Cornell University)|Feb 21, 2018

Tensor decomposition and applications参考文献 49被引用 2

一句话总结

本文提出了首个针对混合专家（Mixture-of-Experts, MoE）模型参数学习的全局一致算法，具备可证明的保证，结合了EM算法与基于张量的矩方法。该算法可对广泛类别的非线性函数实现精确的参数恢复，在合成数据与真实世界数据上均优于标准基线方法。

ABSTRACT

Mixture-of-Experts (MoE) is a widely popular neural network architecture and is a basic building block of highly successful modern neural networks, for example, Gated Recurrent Units (GRU) and Attention networks. However, despite the empirical success, finding an efficient and provably consistent algorithm to learn the parameters remains a long standing open problem for more than two decades. In this paper, we introduce the first algorithm that learns the true parameters of a MoE model for a wide class of non-linearities with global consistency guarantees. Our algorithm relies on a novel combination of the EM algorithm and the tensor method of moment techniques. We empirically validate our algorithm on both the synthetic and real data sets in a variety of settings, and show superior performance to standard baselines.

研究动机与目标

• 解决长期存在的开放问题：为混合专家（MoE）模型寻找一种高效且可证明一致的参数学习算法。
• 将参数学习的保证扩展至超越线性情况的非线性MoE模型。
• 开发一种方法，确保在温和假设下全局收敛至真实参数。
• 在多样化的合成与真实世界场景中，对算法进行实证验证。

提出的方法

• 该算法将期望最大化（Expectation-Maximization, EM）框架与基于张量分解的高阶矩技术相结合。
• 利用MoE模型的结构，通过张量方法提取可识别的矩。
• 利用专家的非线性特性，构建一组方程，唯一确定真实参数。
• 提出一种基于张量幂迭代的新初始化策略，确保收敛至全局最优解。
• 该算法对噪声具有鲁棒性，适用于广泛类别的非线性激活函数。

实验结果

研究问题

• RQ1 能否为具有非线性的MoE模型开发一种全局一致的算法？
• RQ2 能否将EM算法与张量方法结合，实现在MoE模型中的可证明参数恢复？
• RQ3 所提出的方法是否在合成与真实世界场景中均优于标准基线方法？
• RQ4 该算法在何种条件下能保证收敛至真实参数？

主要发现

• 所提出的算法在广泛类别的非线性函数下，实现了MoE模型真实参数学习的全局一致性。
• 首次为MoE模型的参数恢复提供了可证明的保证，解决了长达二十年的开放问题。
• 实验结果表明，该方法在合成数据与真实数据集上均显著优于标准基线方法。
• 该方法对噪声具有鲁棒性，在多样化的网络架构与数据设置下均表现有效。