[논문 리뷰] Momentum SVGD-EM for Accelerated Maximum Marginal Likelihood Estimation

Adam Rozzio, Rafael Athanasiades외 1명|arXiv (Cornell University)|2026. 03. 09.

Generative Adversarial Networks and Image Synthesis인용 수 0

한 줄 요약

요약: 본 논문은 파라미터 공간의 네스테로프 모멘텀과 워커스타인 공간 가속화를 SVGD 기반 잠재 변수 업데이트에 결합한 가속된 MMLE 알고리즘인 Momentum SVGD-EM (M-SVGD-EM)을 제시한다. 이는 여러 작업에서 SVGD-EM보다 더 빠른 수렴을 달성한다.

ABSTRACT

Maximum marginal likelihood estimation (MMLE) can be formulated as the optimization of a free energy functional. From this viewpoint, the Expectation-Maximisation (EM) algorithm admits a natural interpretation as a coordinate descent method over the joint space of model parameters and probability measures. Recently, a significant body of work has adopted this perspective, leading to interacting particle algorithms for MMLE. In this paper, we propose an accelerated version of one such procedure, based on Stein variational gradient descent (SVGD), by introducing Nesterov acceleration in both the parameter updates and in the space of probability measures. The resulting method, termed Momentum SVGD-EM, consistently accelerates convergence in terms of required iterations across various tasks of increasing difficulty, demonstrating effectiveness in both low- and high-dimensional settings.

연구 동기 및 목표

• MMLE를 자유에너지 최소화 문제로 동기 부여하고 EM을 모델 매개변수 및 잠재 변수 분포에 대한 좌표 하강법으로 재해석한다.
• 매개변수 업데이트와 입자 업데이트 모두에 네스테로프에서 영감을 받은 모멘텀을 SVGD와 통합하여 가속된 입자 기반 MMLE 알고리즘을 개발한다.
• 제안된 M-SVGD-EM이 기존 방법에 비해 저차원 및 고차원 작업에서 수렴 속도를 가속화함을 입증한다.

제안 방법

• MMLE을 자유에너지 함수로 형식화하고 파라미터 업데이트와 함께 잠재 변수를 업데이트하기 위해 워커스타인 기울기 흐름을 사용한다.
• 표준 SVGD-EM 업데이트를 모멘텀으로 가속된 버전으로 대체한다: 매개변수에 대한 유클리드 공간 네스테로프 가속(방정식 10–11)과 입자에 대한 워커스타인 공간 SVGD-WNes 가속(방정식 12–16, 근사(14) 포함).
• 매개변수 업데이트를 θ_{t+1} = ˜θ_t + (γ/N) ∑_j ∇_θ ℓ(˜θ_t, x_t^{(j)})으로 계산한 후 ˜θ_{t+1} = θ_{t+1} + α_θ(θ_{t+1} − θ_t)로 업데이트한다.
• 가속된 입자 업데이트를 x_{t+1}^{(i)} = ˜x_t^{(i)} + (γ/N) ∑_j [k(˜x_t^{(j)}, ˜x_t^{(i)}) ∇_x ℓ(θ_{t+1}, ˜x_t^{(j)}) + ∇_1 k(˜x_t^{(j)}, ˜x_t^{(i)})], 그런 다음 ˜x_{t+1}^{(i)} = x_{t+1}^{(i)} + α_X(x_{t+1}^{(i)} − x_t^{(i)})로 업데이트한다.

(a) Parameter Estimation

실험 결과

연구 질문

• RQ1 매개변수 업데이트와 입자 업데이트 모두에 모멘텀을 적용하는 것이 MMLE 문제에서 더 빠른 수렴으로 이어지는가?
• RQ2 합성 데이터와 실제 데이터셋에 걸쳐 M-SVGD-EM이 SVGD-EM 및 다른 MMLE 방법과 어떻게 비교되는가?
• RQ3 가속화된 접근법이 수렴까지의 반복 수를 감소시키면서도 안정성을 유지할 수 있는가?

주요 결과

• M-SVGD-EM은 수렴 속도 면에서 일관되게 SVGD-EM을 능가한다.
• Toy Hierarchical Model에서 더 높은 가속 α = 0.9는 약 절반의 반복에서 SVGD-EM과 같은 MSE를 달성하고 수렴에 필요한 평균 반복을 450.9±115.1에서 232±60.7로 감소시킨다.
• 위스콘신 데이터세트의 베이지안 로지스틱 회귀에서 M-SVGD-EM은 테스트된 가속에서 SVGD-EM 및 SOUL을 능가하고, MPGD는 일부 설정에서 경쟁력 있는 성능을 보인다.
• MNIST에 대한 베이지안 신경망 실험에서 가속이 증가함에 따라 테스트 오류 감소가 빨라지고 사후 분포가 더 촘촘해진다.
• MNIST 및 관련 작업에서 더 높은 가속은 SVGD-EM과 비교하여 예측 성능이 더 우수하고 사후가 더 확신 있게 나타나는 경향을 보인다.

(b) MSE with $\hat{\theta}_{d_{y}}$