[논문 리뷰] Breaking the gridlock in Mixture-of-Experts: Consistent and Efficient Algorithms

Ashok Vardhan Makkuva, Sewoong Oh외 2명|arXiv (Cornell University)|2018. 02. 20.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 전역 수렴 보장을 갖는 증명 가능하고 효율적인 알고리즘을 제안하며, Mixture-of-Experts (MoE) 모델을 학습하는 데 있어 처음으로 이뤄진다. 전이 모멘트 텐서를 활용해 전문가 파라미터를 직접 추정한 후, 게이팅 파라미터에 대해 단순화된 EM 알고리즘을 적용함으로써, 기존의 공동 최적화에서 발생하는 국소 최적점에 갇히는 문제를 해결하여, 합성 및 실세계 데이터셋에서 뛰어난 성능을 달성한다.

ABSTRACT

Mixture-of-Experts (MoE) is a widely popular model for ensemble learning and is a basic building block of highly successful modern neural networks as well as a component in Gated Recurrent Units (GRU) and Attention networks. However, present algorithms for learning MoE including the EM algorithm, and gradient descent are known to get stuck in local optima. From a theoretical viewpoint, finding an efficient and provably consistent algorithm to learn the parameters remains a long standing open problem for more than two decades. In this paper, we introduce the first algorithm that learns the true parameters of a MoE model for a wide class of non-linearities with global consistency guarantees. While existing algorithms jointly or iteratively estimate the expert parameters and the gating paramters in the MoE, we propose a novel algorithm that breaks the deadlock and can directly estimate the expert parameters by sensing its echo in a carefully designed cross-moment tensor between the inputs and the output. Once the experts are known, the recovery of gating parameters still requires an EM algorithm; however, we show that the EM algorithm for this simplified problem, unlike the joint EM algorithm, converges to the true parameters. We empirically validate our algorithm on both the synthetic and real data sets in a variety of settings, and show superior performance to standard baselines.

연구 동기 및 목표

• Mixture-of-Experts (MoE) 모델을 학습하기 위한 증명 가능하고 일관되며 효율적인 알고리즘을 찾는 오랜 동안 열려 있던 문제를 해결하기 위해.
• 기존의 EM 및 경사하강법과 같은 방법들이 종종 국소 최적점에 갇히는 실패를 극복하기 위해.
• ReLU, 시그모이드, 항등 함수를 포함한 광범위한 비선형성 클래스에서 진정한 MoE 파라미터의 전역 복원을 가능하게 하기 위해.
• 전문가 및 게이팅 파라미터 학습을 분리하여, 텐서 방법을 통해 전문가 파라미터를 직접 추정할 수 있도록 하기 위해.
• 제안된 방법이 합성 및 실세계 회귀 과제에서 표준 기준보다 뛰어난 성능을 보임을 경험적으로 입증하기 위해.

제안 방법

• 전문가 및 게이팅 파라미터의 공동 추정을 피하기 위해, 입력과 출력 간의 교차 모멘트 텐서를 통해 전문가 신호를 감지하는 새로운 알고리즘을 제안한다.
• 세계적 교차 모멘트 텐서를 사용하여 전문가 파라미터 $\boldsymbol{a}_i^*$를 추출하며, 이는 입력-출력 관계 내에서 전문가의 비선형성의 에코를 분석함으로써 이루어진다.
• 스펙트럼 방법을 적용하여 텐서를 분해하고, 입력 $\boldsymbol{x}$에 대한 약한 분포 가정 하에 전문가 파라미터를 복원한다.
• 전문가가 복원된 후, 축소된 문제에 대해 단순화된 EM 알고리즘을 적용하여 게이팅 파라미터 $\boldsymbol{w}_i^*$를 추정하며, 이는 전역 수렴을 보여준다.
• 적절한 조건 하에서 단순화된 EM 단계가 참값으로 수렴함을 증명함으로써 이론적 일관성을 확립한다.
• 소음 분산 $\sigma$ 가 작을 때 수축 분석을 통해 게이팅 파라미터에 대한 EM 단계가 수축 인자 $\rho_\sigma < 1$ 로 선형 수렴함을 보여준다.

실험 결과

연구 질문

• RQ1 전역 수렴 보장을 갖는 효율적이고 증명 가능하게 일관된 알고리즘을 설계하여 Mixture-of-Experts 모델을 학습할 수 있는가?
• RQ2 왜 표준 EM 및 기울기 기반 방법들은 실생활에서 진정한 MoE 파라미터를 복원하지 못하는가?
• RQ3 전문가 및 게이팅 파라미터 학습을 분리하여 공동 최적화의 위기 상태를 피할 수 있는가?
• RQ4 데이터의 고차 모멘트 구조를 활용하여 전문가 파라미터를 직접 추정하는 것이 가능한가?
• RQ5 전문가가 알려진 상태에서 게이팅 파라미터에 대한 단순화된 EM 단계가 참값으로 수렴하는가?

주요 결과

• 제안된 알고리즘은 ReLU, 시그모이드, 항등 함수를 포함한 광범위한 비선형성 클래스에서 진정한 전문가 파라미터 $\boldsymbol{a}_i^*$를 전역 일관성 있게 복원한다.
• 합성 데이터에서 표준 EM 및 기울기 기반 기준보다 파라미터 추정 오차가 떨어지며, 표본 크기($n = 1000, 5000, 10000$)에 관계없이 일관된 우월성을 보인다.
• $n=10000$일 때, 제안된 방법의 파라미터 추정 오차는 ReLU 및 시그모이드 비선형성 모두에서 EM보다 일관되게 낮다.
• 실세계 데이터셋(Concrete, Stock Portfolio, Airfoil)에서, 모든 테스트 설정에서 공동 EM보다 낮은 예측 오차를 기록하며 일반화 성능이 향상된다.
• 소음 분산 $\sigma < \sigma_0$ 일 때, 게이팅 파라미터에 대한 단순화된 EM 단계는 수축 인자 $\rho_\sigma < 1$ 로 선형 수렴하며, 이는 전역 수렴을 보장한다.
• 경험적 결과는 알고리즘이 노이즈에 강건하며, 작은 표본 크기와 중간 수준의 노이즈($\sigma = 0.5$) 조건에서도 낮은 오차를 유지함을 확인한다.