[論文レビュー] Breaking the gridlock in Mixture-of-Experts: Consistent and Efficient Algorithms

Ashok Vardhan Makkuva, Sewoong Oh+2 more|arXiv (Cornell University)|Feb 20, 2018

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本論文は、グローバル収束保証のもとで、Mixture-of-Experts (MoE) モデルを学習する初めての証明可能に一貫性があり、かつ効率的なアルゴリズムを提示する。入力と出力の間のクロスモーメントテンソルを活用してエキスパートパラメータを直接推定し、その後ゲーティングパラメータの推定に簡素化されたEMアルゴリズムを適用することで、従来の共同最適化における局所最適解のジレンマを打ち破り、合成データおよび実世界のデータセットにおいて優れた性能を達成する。

ABSTRACT

Mixture-of-Experts (MoE) is a widely popular model for ensemble learning and is a basic building block of highly successful modern neural networks as well as a component in Gated Recurrent Units (GRU) and Attention networks. However, present algorithms for learning MoE including the EM algorithm, and gradient descent are known to get stuck in local optima. From a theoretical viewpoint, finding an efficient and provably consistent algorithm to learn the parameters remains a long standing open problem for more than two decades. In this paper, we introduce the first algorithm that learns the true parameters of a MoE model for a wide class of non-linearities with global consistency guarantees. While existing algorithms jointly or iteratively estimate the expert parameters and the gating paramters in the MoE, we propose a novel algorithm that breaks the deadlock and can directly estimate the expert parameters by sensing its echo in a carefully designed cross-moment tensor between the inputs and the output. Once the experts are known, the recovery of gating parameters still requires an EM algorithm; however, we show that the EM algorithm for this simplified problem, unlike the joint EM algorithm, converges to the true parameters. We empirically validate our algorithm on both the synthetic and real data sets in a variety of settings, and show superior performance to standard baselines.

研究の動機と目的

• Mixture-of-Experts (MoE) モデルを学習する証明可能に一貫性があり、かつ効率的なアルゴリズムを求めるという長年の未解決問題に取り組む。
• EM や勾配降下法といった従来の手法がしばしば局所最適解に陥ることに起因する失敗を克服する。
• ReLU、シグモイド、恒等関数を含む広範な非線形関数クラスにおいて、真のMoEパラメータのグローバル回復を可能にする。
• エキスパートとゲーティングパラメータの学習を分離することで、テンソル法を用いてエキスパートパラメータを直接推定する。
• 提案手法が合成および実世界の回帰タスクにおいて、標準的なベースラインを常に上回ることを経験的に示す。

提案手法

• エキスパートとゲーティングパラメータの共同推定を回避するため、入力と出力の間のクロスモーメントテンソルを用いてエキスパート信号を検出する、新しいアルゴリズムを提案する。
• 3次元クロスモーメントテンソルを用いて、入出力関係におけるエキスパート非線形性のエコーを分析することで、エキスパートパラメータ $\boldsymbol{a}_i^*$ を抽出する。
• 入力 $\boldsymbol{x}$ の分布的仮定が弱い条件下で、スペクトル法を用いてテンソルを分解し、エキスパートパラメータを回復する。
• エキスパートが回復された後、簡素化されたEMアルゴリズムを用いてゲーティングパラメータ $\boldsymbol{w}_i^*$ を、低次元化された問題上で推定する。この手順は、グローバル収束することが示されている。
• 適切な条件下で、簡素化されたEMステップが真のパラメータに収束することを理論的に証明することで、理論的一貫性を確立する。
• ノイズ分散 $\sigma$ が小さい場合に、ゲーティングパラメータのEMステップが収縮係数 $\rho_\sigma < 1$ で線形収束することを収縮解析によって示す。

実験結果

リサーチクエスチョン

• RQ1 Mixture-of-Experts モデルを学習する効率的かつ証明可能に一貫性のあるアルゴリズムを設計できるか？
• RQ2 なぜ標準的なEM法や勾配ベースの手法は、実際には真のMoEパラメータを回復できないのか？
• RQ3 エキスパートとゲーティングパラメータの学習を分離することで、共同最適化のジレンマを回避できるか？
• RQ4 データ内の高次モーメント構造を活用して、エキスパートパラメータを直接推定することは可能か？
• RQ5 エキスパートが既知である場合、ゲーティングパラメータの簡素化されたEMステップは真のパラメータに収束するか？

主な発見

• 提案手法は、ReLU、シグモイド、恒等関数を含む広範な非線形関数クラスにおいて、真のエキスパートパラメータ $\boldsymbol{a}_i^*$ のグローバル一貫性を達成する。
• 合成データにおいて、提案手法は標準EM法や勾勾配降下ベースラインよりもパラメータ推定誤差が低く、サンプルサイズ（$n = 1000, 5000, 10000$）が異なる状況でも一貫した優位性を示す。
• $n=10000$ の場合、ReLUおよびシグモイド非線形性の両方において、提案手法のパラメータ推定誤差はEM法を常に下回る。
• 実世界のデータセット（Concrete, Stock Portfolio, Airfoil）において、あらゆるテスト設定で、提案手法は共同EM法よりも低い予測誤差を達成し、一般化性能が向上している。
• ノイズ分散 $\sigma < \sigma_0$ の場合、ゲーティングパラメータの簡素化されたEMステップは収縮係数 $\rho_\sigma < 1$ で線形収束し、グローバル収束が保証される。
• 経験的結果から、アルゴリズムがノイズに強く、小さなサンプルサイズや中程度のノイズレベル（$\sigma = 0.5$）でも低誤差を維持することが確認された。