[논문 리뷰] Revisiting Incremental Stochastic Majorization-Minimization Algorithms with Applications to Mixture of Experts

TrungKhang Tran, TrungTin Nguyen외 6명|arXiv (Cornell University)|2026. 01. 27.

Stochastic Gradient Optimization Techniques인용 수 0

한 줄 요약

논문은 Incremental stochastic Majorization-Minimization (MM) 프레임워크를 개발하여 incremental EM을 일반화하고, stationary points에 대한 일관성을 증명하며, softmax-gated MoE 모델에서 일반적인 최적화기보다 우수한 성능을 시연한다.

ABSTRACT

Processing high-volume, streaming data is increasingly common in modern statistics and machine learning, where batch-mode algorithms are often impractical because they require repeated passes over the full dataset. This has motivated incremental stochastic estimation methods, including the incremental stochastic Expectation-Maximization (EM) algorithm formulated via stochastic approximation. In this work, we revisit and analyze an incremental stochastic variant of the Majorization-Minimization (MM) algorithm, which generalizes incremental stochastic EM as a special case. Our approach relaxes key EM requirements, such as explicit latent-variable representations, enabling broader applicability and greater algorithmic flexibility. We establish theoretical guarantees for the incremental stochastic MM algorithm, proving consistency in the sense that the iterates converge to a stationary point characterized by a vanishing gradient of the objective. We demonstrate these advantages on a softmax-gated mixture of experts (MoE) regression problem, for which no stochastic EM algorithm is available. Empirically, our method consistently outperforms widely used stochastic optimizers, including stochastic gradient descent, root mean square propagation, adaptive moment estimation, and second-order clipped stochastic optimization. These results support the development of new incremental stochastic algorithms, given the central role of softmax-gated MoE architectures in contemporary deep neural networks for heterogeneous data modeling. Beyond synthetic experiments, we also validate practical effectiveness on two real-world datasets, including a bioinformatics study of dent maize genotypes under drought stress that integrates high-dimensional proteomics with ecophysiological traits, where incremental stochastic MM yields stable gains in predictive performance.

연구 동기 및 목표

• 대용량 스트리밍 데이터 및 명시적 잠재변수 표현을 넘어서는 복잡한 잠재모형에 적합한 Incremental stochastic MM 프레임워크를 동기화하고 개발한다.
• 제안된 알고리즘에 대한 stationary points(일관성)로의 수렴을 보장하는 이론적 보장을 제공한다.
• stochastic EM이 실패하는 softmax-gated MoE 모델(연속 및 이산 출력)에 이 방법을 적용한다.
• 합성 및 실제 데이터 세트에서 일반적인 최적화 도구보다 실험적 이점을 입증하고, 고차원 설정을 포함한다.

제안 방법

• surrogate 매개변수 벡터를 확률적 근사 스텝으로 업데이트한 다음, 지수족(exp)형태의 surrogate를 최소화하여 매개변수 반복(iterate)을 업데이트하는 Incremental (online) MM 알고리즘을 형식화한다.
• 엑스포넛셜-패밀리 구조, 볼록성, 고유 최소값 특성을 만족하는 majorizer를 사용하여 계산 가능하고 해석적인 업데이트를 보장한다.
• Lyapunov 함수 프레임워크와 확률적 근사 분석을 확립하여 기대 목적함수의 일시적(거의 확실한) 수렴을 보인다.
• softmax-gated MoE 모델에 대해 유효한 majorizer를 구성하기 위한 핵심 Lemma의 수정된 경계(bound)를 제공한다.
• SGMoE 및 Softmax-gated multinomial logistic MoE 모델에 Incremental MM 스킴을 특수화하고 식별성 및 규칙성 문제를 다룬다.

(a) Typical realization of the synthetic dataset.

실험 결과

연구 질문

• RQ1 MoE 모델에서 명시적 잠재변수 표현에 의존하지 않고 Incremental stochastic MM 알고리즘을 설계할 수 있는가?
• RQ2 Incremental stochastic MM 알고리즘이 기대 목적함수의 stationary points로 수렴하는 조건은 무엇인가(일관성)?
• RQ3 연속 및 이산 출력이 있는 softmax-gated MoE 모델에서 제안된 방법의 성능은 표준 확률적 최적화기와 비교하여 어떠한가?
• RQ4 softmax-gated MoE 아키텍처에 Incremental stochastic MM을 적용하는 데 영향을 주는 실용적 및 이론적 한계는 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• 제안된 Incremental stochastic MM 알고리즘은 일관성을 달성하며, 반복들이 기울기가 0인 stationary points로 수렴한다.
• 실험적 결과는 이 방법이 softmax-gated MoE 회귀 문제에서 SGD, RMSProp, Adam, Sophia보다 성능이 우수함을 보여준다.
• 고차원 설정 및 생물정보학류 데이터의 단백질체 및 생태생리적 특성 포함 실제 데이터 세트에서도 효과가 지속된다.
• 본 연구는 기존의 Incremental stochastic MM/EM 변형들이 softmax-gated MoEs에서 저조한 성능을 보이는 이유를 강조하고, 규칙성 및 surrogate 구성으로 이를 보완하는 방법을 제시한다.

(b) Estimated clusters and regression functions.