[논문 리뷰] Towards Understanding Mixture of Experts in Deep Learning

Zixiang Chen, Yihe Deng외 3명|arXiv (Cornell University)|2022. 08. 04.

Mobile Crowdsensing and Crowdsourcing인용 수 22

한 줄 요약

이 논문은 이론적·실증적으로 희소 MoE 계층이 왜 다양화되는지와 라우터가 군집 중심의 라우팅을 어떻게 학습하는지 분석합니다. 비선형 MoE가 군집 구조 데이터에서 단일 전문가보다 우수하고, 라우터가 입력을 전문화된 전문가에게 할당하는 방법을 보여줍니다.

ABSTRACT

The Mixture-of-Experts (MoE) layer, a sparsely-activated model controlled by a router, has achieved great success in deep learning. However, the understanding of such architecture remains elusive. In this paper, we formally study how the MoE layer improves the performance of neural network learning and why the mixture model will not collapse into a single model. Our empirical results suggest that the cluster structure of the underlying problem and the non-linearity of the expert are pivotal to the success of MoE. To further understand this, we consider a challenging classification problem with intrinsic cluster structures, which is hard to learn using a single expert. Yet with the MoE layer, by choosing the experts as two-layer nonlinear convolutional neural networks (CNNs), we show that the problem can be learned successfully. Furthermore, our theory shows that the router can learn the cluster-center features, which helps divide the input complex problem into simpler linear classification sub-problems that individual experts can conquer. To our knowledge, this is the first result towards formally understanding the mechanism of the MoE layer for deep learning.

연구 동기 및 목표

• MoE가 단일 모델로 수렴하지 않고 다양화하는 이유에 대해 동기를 부여하고 이를 형식화하는 문제들.
• 내재된 군집 구조를 가진 분류 데이터의 혼합을 연구하여 MoE의 이점을 이해한다.
• 희소 라우팅을 가진 비선형 이층 CNN 전문가가 군집 구조 데이터에서 거의 완벽에 가까운 테스트 정확도를 달성할 수 있음을 보인다.
• 라우터가 이 입력을 전문가 전문화를 위해 분할하기 위해 군집-중심 특징을 학습한다는 것을 이론적으로 그리고 실험적으로 입증한다.

제안 방법

• M개의 전문가(이층 CNN)와 top-1 라우팅(스위치 라우팅)을 통한 희소 라우터를 가진 MoE 계층을 정의한다.
• 훈련을 안정화하기 위해 무작위 라우팅 노이즈를 포함한 섞인 경험적 손실을 사용한다.
• 각 군집이 전용 서브셋의 전문가에 의해 학습 가능한 군집 구조를 갖는 데이터 분포를 분석한다.
• 제안된 데이터에서 단일 이층 CNN 전문가가 87.5%의 테스트 정확도를 초과할 수 없다는 부정적 결과를 증명한다(정리 4.1).
• 특정 조건하에서 큐빅 활성화를 가진 비선형 희소 MoE가 거의 100%의 학습 정확도와 거의 영의 테스트 오류를 달성할 수 있음을 증명한다(정리 4.2).
• 전개 기반 분석을 제공하여 전문가가 군집별로 어떻게 전문화되고 라우터가 군집-중심 특징을 어떻게 학습하는지 보여준다.

실험 결과

연구 질문

• RQ1 MoE가 단일 모델로 수렴하지 않고 다양화하는 이유는 무엇인가?
• RQ2 희소 게이트 MoE가 비선형 전문가를 사용하여 군집 구조 데이터를 효율적으로 학습할 수 있는가?
• RQ3 라우터가 입력을 적절한 전문가에게 할당하는 방법은 무엇이며 전문가가 군집에 전문화되는가?
• RQ4 비선형 대비 선형 전문가를 사용할 때 군집 구조 학습에 미치는 영향은 무엇인가?

주요 결과

• 제안된 군집 구조 분포에서 단일 이층 CNN 전문가는 테스트 정확도 87.5%를 초과할 수 없다(정리 4.1).
• 선형 전문가의 혼합은 단일 전문가보다 개선되나 군집 구조를 회복하는 데 여전히 어려움을 보이고 비선형 MoE보다 성능이 떨어질 수 있다.
• 큐빅 활성화를 갖춘 두층 CNN 전문가를 가진 희소 게이트 MoE는 적절한 설정에서 거의 100%의 학습 정확도와 거의 0에 가까운 테스트 오류를 달성한다(정리 4.2).
• 라우터가 군집-중심 특징을 학습하고 각 군집을 전용 전문가로 경로지정하며 각 전문가는 최소 하나의 군집에 전문화된다.
• 합성 데이터에 대한 실증 결과 비선형 MoE가 디스패치 엔트로피를 거의 0에 가깝게 달성하여 명확한 군집 전문화를 나타내는 반면 선형 MoE는 더 높은 엔트로피를 유지한다.
• CIFAR-10 및 CIFAR-10-Rotate에 대한 실험은 MoE가 표준 작업에서 단일 모델과 대등하거나 더 나은 성능을 보이고 군집화된 데이터 구조를 더 잘 처리함을 보여준다.