[논문 리뷰] Globally Consistent Algorithms for Mixture of Experts.

Ashok Vardhan Makkuva, Sreeram Kannan외 1명|arXiv (Cornell University)|2018. 02. 21.

Tensor decomposition and applications참고 문헌 49인용 수 2

한 줄 요약

이 논문은 증명 가능 보장과 함께 Mixture-of-Experts (MoE) 모델의 파라미터를 학습하기 위한 세계적으로 일致하는 알고리즘을 처음으로 제안한다. 이 알고리즘은 EM 알고리즘과 텐서 기반 모멘트 기법을 결합하여, 다양한 비선형성에 대해 정확한 파라미터 복원을 달성하며, 시뮬레이션 데이터와 실제 데이터 모두에서 표준 기준보다 뛰어난 성능을 보인다.

ABSTRACT

Mixture-of-Experts (MoE) is a widely popular neural network architecture and is a basic building block of highly successful modern neural networks, for example, Gated Recurrent Units (GRU) and Attention networks. However, despite the empirical success, finding an efficient and provably consistent algorithm to learn the parameters remains a long standing open problem for more than two decades. In this paper, we introduce the first algorithm that learns the true parameters of a MoE model for a wide class of non-linearities with global consistency guarantees. Our algorithm relies on a novel combination of the EM algorithm and the tensor method of moment techniques. We empirically validate our algorithm on both the synthetic and real data sets in a variety of settings, and show superior performance to standard baselines.

연구 동기 및 목표

• Mixture-of-Experts (MoE) 모델을 학습하기 위한 효율적이고 증명 가능 일致성 보장이 있는 알고리즘을 찾는 오랜 열린 문제를 해결하기 위해.
• 선형 사례를 초월하여 비선형 MoE 모델에 대한 파라미터 학습 보장을 확장하기 위해.
• 약한 가정 하에 참값 파라미터로의 전역 수렴을 보장하는 방법을 개발하기 위해.
• 다양한 시뮬레이션 및 실제 세계 설정에서 알고리즘의 경험적 검증을 수행하기 위해.

제안 방법

• 알고리즘은 기대최대화(Expectation-Maximization, EM) 프레임워크와 텐서 분해 기반 고차 모멘트 기법을 결합한다.
• MoE 모델의 구조를 활용하여 텐서 기법을 통해 식별 가능한 모멘트를 추출한다.
• 전문가의 비선형성을 활용하여 참 파라미터를 유일하게 식별하는 방정식계를 구성한다.
• 텐서 거듭제곱 반복 기반의 새로운 초기화 전략이 전역 최적해로의 수렴을 보장한다.
• 알고리즘은 노이즈에 강건하며 다양한 비선형 활성화 함수에 적용 가능한 설계가 되어 있다.

실험 결과

연구 질문

• RQ1 비선형성을 가진 MoE 모델에 대해 세계적으로 일치하는 알고리즘을 개발할 수 있는가?
• RQ2 EM 알고리즘과 텐서 기법을 조합하여 MoE에서 증명 가능한 파라미터 복원을 달성할 수 있는가?
• RQ3 제안된 방법은 시뮬레이션 및 실제 세계 설정 모두에서 표준 기준보다 뛰어나게 성능을 발휘하는가?
• RQ4 알고리즘이 참 파라미터로의 수렴을 보장하는 조건은 무엇인가?

주요 결과

• 제안된 알고리즘은 광범위한 비선형성 클래스를 가진 MoE 모델의 참 파라미터 학습에서 전역 일관성을 달성한다.
• 이 연구는 MoE 모델에서 파라미터 복원에 대해 처음으로 증명 가능한 보장을 제공하며, 20년이 넘는 열린 문제를 해결한다.
• 경험적 결과는 시뮬레이션 및 실제 데이터셋 모두에서 표준 기준보다 뛰어난 성능을 보인다.
• 이 방법은 노이즈에 강건하며 다양한 아키텍처 및 데이터 설정에서 효과적이다.