[논문 리뷰] Learning Factored Representations in a Deep Mixture of Experts

David Eigen, Marc’Aurelio Ranzato외 1명|arXiv (Cornell University)|2013. 12. 16.

Speech and Audio Processing참고 문헌 8인용 수 137

한 줄 요약

이 논문은 깊이 있는 신경망 아키텍처인 딥 믹스처 오브 응용(Deep Mixture of Experts, DMoE)을 제안한다. 이 모델은 각 레이어에서 입력을 다양한 조합의 전문가들 사이로 동적으로 라우팅하기 위해 스택형 게이팅 네트워크를 사용하며, 이로 인해 계산 비용은 낮은 채로 효과적인 전문가 수가 지수적으로 증가한다. 모델은 MNIST에서 위치와 클래스 요인, 또는 단음소 데이터에서의 구분 가능한 발화 패턴과 같은 분리된 표현을 학습하며, 조건부 라우팅을 통해 모든 전문가 조합의 균형 잡힌 활용이 가능함을 보여준다.

ABSTRACT

Mixtures of Experts combine the outputs of several "expert" networks, each of which specializes in a different part of the input space. This is achieved by training a "gating" network that maps each input to a distribution over the experts. Such models show promise for building larger networks that are still cheap to compute at test time, and more parallelizable at training time. In this this work, we extend the Mixture of Experts to a stacked model, the Deep Mixture of Experts, with multiple sets of gating and experts. This exponentially increases the number of effective experts by associating each input with a combination of experts at each layer, yet maintains a modest model size. On a randomly translated version of the MNIST dataset, we find that the Deep Mixture of Experts automatically learns to develop location-dependent ("where") experts at the first layer, and class-specific ("what") experts at the second layer. In addition, we see that the different combinations are in use when the model is applied to a dataset of speech monophones. These demonstrate effective use of all expert combinations.

연구 동기 및 목표

• 큰 모델 크기임에도 불구하고 추론 비용을 낮게 유지하면서도 확장 가능한 딥 러닝 아키텍처를 개발하기 위해, 입력을 전문가의 부분집합으로 동적으로 라우팅하는 것.
• 다양한 레이어가 서로 다른 데이터 요소(예: 공간적 위치와 클래스 식별)에 특화되도록 인지된 표현 학습을 가능하게 하기 위해.
• 게이팅 콘센시스가 발생하는 것을 방지하기 위해 러닝 할당 제약 조건을 적용하여 학습 중 전문가 활용의 균형을 유지하기 위해.
• 시각 및 음성 작업에서 모델 성능을 평가하여 실제 데이터에서 모든 전문가 조합의 효과적인 사용을 입증하기 위해.

제안 방법

• DMoE는 각 레이어의 출력에 따라 게이팅 네트워크가 이전 레이어의 출력을 기반으로 가중치를 가진 전문가 조합을 선택하는 방식으로, 다수의 게이팅 네트워크와 전문가 네트워크를 사용한다.
• 각 레이어의 출력은 전문가 출력의 가중합으로 계산된다: $ z^{l} = \sum_{i} g^{l}_{i}(z^{l-1}) f^{l}_{i}(z^{l-1}) $, 게이팅 가중치는 총합이 1이 되도록 정규화된다.
• 학습 중 러닝 총합 제약 조건이 적용된다: 만약 어떤 전문가의 누적 할당 수가 평균보다 마진 $ m $ 이상 초과하면, 그 전문가의 게이팅 가중치는 0으로 설정되고 분포가 재정규화되어 과도한 사용을 방지한다.
• 최종 출력은 마지막 레이어의 믹스 출력에 소프트맥스 레이어를 적용하여 생성되며, 이는 분류를 가능하게 한다.
• 전문가들은 단일 레이어 ReLU 네트워크로 구현되며, 게이팅 네트워크는 작은 두 레이어 ReLU 네트워크로 구성되며, 히든 유닛 수가 적다.
• 모델는 균형 제약 조건을 적용하여 일부 전문가가 지배하는 악성 해법을 방지하기 위해 확률적 경사 하강법으로 훈련된다.

실험 결과

연구 질문

• RQ1 딥 믹스처 오브 응용은 이미지 데이터에서 공간적 위치와 클래스 식별을 분리하는 것과 같은 분리된 표현을 학습할 수 있는가?
• RQ2 DMoE 아키텍처는 일부 전문가 조합에 의존하는 대신, 레이어 간 모든 가능한 전문가 조합을 효과적으로 활용하는가?
• RQ3 게이팅 콘센시스의 위험에도 불구하고 학습 중 전문가 활용이 균형을 이루는가?
• RQ4 표준 MoE 및 DNN 기준선 대비 실세계 음성 데이터에서 모델 성능은 어떠한가?
• RQ5 조건부 계산을 통해 효과적인 성능를 달성하면서도 계산 비용을 낮게 유지할 수 있는가?

주요 결과

• 편향된 MNIST 데이터셋에서, DMoE는 첫 번째 레이어에서 이동(위치)에 따라, 두 번째 레이어에서 클래스에 따라 입력을 라우팅함으로써 인지된 표현 학습을 보여준다.
• 4×100-4×20 아키텍처로 편향된 MNIST 데이터셋에서 테스트 오차 0.85를 기록했으며, 단일 전문가 기준선 및 연결 전문가 기준선을 모두 능가한다.
• 모노폰 음성 데이터의 경우, DMoE는 테스트 세트의 음소 오류율 0.55를 기록했으며, 기준선과 유사한 성능을 보였지만, 모든 전문가 조합 간에 더 균형 잡힌 활용을 보였다.
• 게이팅 가중치의 시각화 결과, 모든 전문가 조합이 활발히 사용되며, 특정 조합이 라우팅을 지배하지는 않았다.
• 통합 할당 분석 결과, 두 번째 레이어의 전문가 선택은 첫 번째 레이어의 선택에 약한 의존성을 보이며, 다양한 독립적인 라우팅이 이루어지고 있음을 시사한다.
• 러닝 할당 제약 조건 덕분에 안정적인 학습 과정을 유지하며, 게이팅 콘센시스를 방지하고 전문가 활용의 균형을 확보한다.