[論文レビュー] Revisiting Incremental Stochastic Majorization-Minimization Algorithms with Applications to Mixture of Experts

TrungKhang Tran, TrungTin Nguyen+6 more|arXiv (Cornell University)|Jan 27, 2026

Stochastic Gradient Optimization Techniques被引用数 0

ひとこと要約

要約: 論文は増分確率的 Majorization-Minimization (MM) フレームワークを開発し、増分EMを一般化、停留点への一貫性を証明、ソフトマックスゲート付きMoEモデルにおける共通最適化手法より優れた性能を示す。

ABSTRACT

Processing high-volume, streaming data is increasingly common in modern statistics and machine learning, where batch-mode algorithms are often impractical because they require repeated passes over the full dataset. This has motivated incremental stochastic estimation methods, including the incremental stochastic Expectation-Maximization (EM) algorithm formulated via stochastic approximation. In this work, we revisit and analyze an incremental stochastic variant of the Majorization-Minimization (MM) algorithm, which generalizes incremental stochastic EM as a special case. Our approach relaxes key EM requirements, such as explicit latent-variable representations, enabling broader applicability and greater algorithmic flexibility. We establish theoretical guarantees for the incremental stochastic MM algorithm, proving consistency in the sense that the iterates converge to a stationary point characterized by a vanishing gradient of the objective. We demonstrate these advantages on a softmax-gated mixture of experts (MoE) regression problem, for which no stochastic EM algorithm is available. Empirically, our method consistently outperforms widely used stochastic optimizers, including stochastic gradient descent, root mean square propagation, adaptive moment estimation, and second-order clipped stochastic optimization. These results support the development of new incremental stochastic algorithms, given the central role of softmax-gated MoE architectures in contemporary deep neural networks for heterogeneous data modeling. Beyond synthetic experiments, we also validate practical effectiveness on two real-world datasets, including a bioinformatics study of dent maize genotypes under drought stress that integrates high-dimensional proteomics with ecophysiological traits, where incremental stochastic MM yields stable gains in predictive performance.

研究の動機と目的

• 高容量のストリーミングデータと明示的な潜在変数表現を超える複雑な潜在モデルに適した増分確率的MMフレームワークを動機付けて開発する。
• 提案アルゴリズムの停留点への収束（一貫性）を理論的に保証する。
• stochastic EM が機能しないソフトマックスゲート付きMoEモデル（連続出力および離散出力）へ本法を適用する。
• 合成データおよび実世界データセットで、共通の最適化手法（高次元設定を含む）に対する経験的優位性を示す。

提案手法

• 増分（オンライン）MMアルゴリズムを定式化し、確率近似ステップで surrogate パラメータベクターを更新し、次に surrogate を指数族形で最小化してパラメータ反復を更新する。
• 更新を計算可能にするため、指数族構造・凸性・一意最小値性を満たす majorizer を用いる。
• Lyapunov関数フレームワークと確率近似分析を確立し、期待目的関数の停留点に対するほぼ確実な収束を証明する。
• ソフトマックスゲート付きMoEモデルの有効な majorizer を構築するために、重要な補正境界を提供する。
• SGMoEおよび Softmax-gated multinomial logistic MoEモデルへ増分MMスキームを特化し、同定性と正則性の問題に対処する。

(a) Typical realization of the synthetic dataset.

実験結果

リサーチクエスチョン

• RQ1 Explicit latent-variable 表現に頼らず MoEモデルを扱える増分確率的MMアルゴリズムを設計できるか。
• RQ2 増分確率的MMアルゴリズムが期待 Objective の停留点へ収束する条件（一貫性）は何か。
• RQ3 連続出力および離散出力を持つソフトマックスゲート付きMoEモデルで、提案法は標準的な確率的最適化手法と比べてどう性能を発揮するか。
• RQ4 ソフトマックスゲート付きMoEアーキテクチャへの適用に影響を与える実務的・理論的制限は何で、それをどう緩和できるか。

主な発見

• 提案された増分確率的MMアルゴリズムは一貫性を達成し、反復が勾配が消失する停留点へ収束する。
• 経験的結果は、ソフトマックスゲート付きMoE回帰問題において、方法がSGD、RMSProp、Adam、Sophiaより優れていることを示す。
• 高次元設定および proteomics や ecophysiological traits を含む生データを含む実世界データセットにも有効である。
• 既存の増分的な stochastic MM / EM 変種がソフトマックスゲート付きMoEに対して不十分である理由を強調し、正則性と surrogate 構築を通じた解決策を提供する。

(b) Estimated clusters and regression functions.