[论文解读] Breaking the gridlock in Mixture-of-Experts: Consistent and Efficient Algorithms

Ashok Vardhan Makkuva, Sewoong Oh+2 more|arXiv (Cornell University)|Feb 20, 2018

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出了首个在Mixture-of-Experts（MoE）模型上具有可证明一致性与高效性的算法，具备全局收敛保证。通过利用交叉矩张量直接估计专家参数，再应用简化的EM算法估计门控参数，该方法打破了传统联合优化中陷入局部最优的僵局，在合成数据与真实世界数据集上均表现出优越性能。

ABSTRACT

Mixture-of-Experts (MoE) is a widely popular model for ensemble learning and is a basic building block of highly successful modern neural networks as well as a component in Gated Recurrent Units (GRU) and Attention networks. However, present algorithms for learning MoE including the EM algorithm, and gradient descent are known to get stuck in local optima. From a theoretical viewpoint, finding an efficient and provably consistent algorithm to learn the parameters remains a long standing open problem for more than two decades. In this paper, we introduce the first algorithm that learns the true parameters of a MoE model for a wide class of non-linearities with global consistency guarantees. While existing algorithms jointly or iteratively estimate the expert parameters and the gating paramters in the MoE, we propose a novel algorithm that breaks the deadlock and can directly estimate the expert parameters by sensing its echo in a carefully designed cross-moment tensor between the inputs and the output. Once the experts are known, the recovery of gating parameters still requires an EM algorithm; however, we show that the EM algorithm for this simplified problem, unlike the joint EM algorithm, converges to the true parameters. We empirically validate our algorithm on both the synthetic and real data sets in a variety of settings, and show superior performance to standard baselines.

研究动机与目标

• 为解决长期存在的开放问题：寻找一种可证明一致且高效的Mixture-of-Experts（MoE）模型学习算法。
• 克服现有方法（如EM和梯度下降）常陷入局部最优的问题。
• 在包括ReLU、Sigmoid和恒等函数在内的广泛非线性函数类下，实现真实MoE参数的全局恢复。
• 将专家参数与门控参数的学习解耦，通过张量方法直接估计专家参数。
• 通过实证结果证明，所提方法在合成与真实世界回归任务中均优于标准基线方法。

提出的方法

• 提出一种新颖算法，通过输入与输出之间的交叉矩张量感知专家信号，绕过专家与门控参数的联合估计。
• 利用三阶交叉矩张量，通过分析专家非线性性在输入-输出关系中的回声效应，提取专家参数 $\boldsymbol{a}_i^*$。
• 在输入 $\boldsymbol{x}$ 的分布满足弱假设的前提下，应用谱方法分解张量并恢复专家参数。
• 在专家参数被恢复后，通过在简化问题上应用简化的EM算法来估计门控参数 $\boldsymbol{w}_i^*$，并证明其可实现全局收敛。
• 通过理论证明，建立简化EM步骤的一致性，即在适当条件下收敛至真实参数。
• 采用压缩分析证明，当噪声方差 $\sigma$ 较小时，门控参数的EM步骤以收缩因子 $\rho_\sigma < 1$ 线性收敛。

实验结果

研究问题

• RQ1 我们能否设计一种高效且可证明一致的算法，用于学习Mixture-of-Experts模型，并具备全局收敛保证？
• RQ2 为何标准EM与基于梯度的方法在实践中无法恢复真实MoE参数？
• RQ3 我们能否通过解耦专家与门控参数的学习，避免联合优化带来的僵局？
• RQ4 是否可能通过利用数据中的高阶矩结构，直接估计专家参数？
• RQ5 当专家参数已知时，门控参数的简化EM步骤是否收敛至真实参数？

主要发现

• 所提算法在包括ReLU、Sigmoid和恒等函数在内的广泛非线性函数类下，实现了对真实专家参数 $\boldsymbol{a}_i^*$ 的全局一致性恢复。
• 在合成数据上，该方法在参数估计误差方面优于标准EM与基于梯度的基线方法，且在不同样本量（$n = 1000, 5000, 10000$）下均保持一致优势。
• 当 $n=10000$ 时，该方法在ReLU与Sigmoid非线性情形下的参数估计误差始终低于EM方法。
• 在真实世界数据集（Concrete、Stock Portfolio、Airfoil）上，该算法在所有测试设置下均实现了低于联合EM的预测误差，且泛化性能更优。
• 当 $\sigma < \sigma_0$ 时，门控参数的简化EM步骤以收缩因子 $\rho_\sigma < 1$ 线性收敛，确保全局收敛。
• 实证结果证实，该算法对噪声具有鲁棒性，在小样本量与中等噪声水平（$\sigma = 0.5$）下仍能保持低误差。