[논문 리뷰] Mixture Models for Diverse Machine Translation: Tricks of the Trade

Tianxiao Shen, Myle Ott외 2명|arXiv (Cornell University)|2019. 02. 20.

Topic Modeling인용 수 61

한 줄 요약

논문은 다양한 신경 기계 번역을 위한 조건부 mixture models (mixture of experts)에 대한 포괄적인 실증 연구를 제공하며, variational NMT 및 다양한 decoding baselines와 비교했을 때 품질-다양성 트레이드오프에 우수한 설계 선택과 학습 트릭을 식별한다.

ABSTRACT

Mixture models trained via EM are among the simplest, most widely used and well understood latent variable models in the machine learning literature. Surprisingly, these models have been hardly explored in text generation applications such as machine translation. In principle, they provide a latent variable to control generation and produce a diverse set of hypotheses. In practice, however, mixture models are prone to degeneracies---often only one component gets trained or the latent variable is simply ignored. We find that disabling dropout noise in responsibility computation is critical to successful training. In addition, the design choices of parameterization, prior distribution, hard versus soft EM and online versus offline assignment can dramatically affect model performance. We develop an evaluation protocol to assess both quality and diversity of generations against multiple references, and provide an extensive empirical study of several mixture model variants. Our analysis shows that certain types of mixture models are more robust and offer the best trade-off between translation quality and diversity compared to variational models and diverse decoding approaches.\footnote{Code to reproduce the results in this paper is available at \url{https://github.com/pytorch/fairseq}}

연구 동기 및 목표

• 다양한 가설들을 가진 다중 모드 번역 출력을 다양성 있는 가설들로 모델링해야 할 필요성을 고찰한다.
• MT를 위한 혼합모형 설계 선택의 광범위한 범위(하드/소프트 EM, 사전, 매개변수 공유)를 평가한다.
• 여러 참조를 사용해 번역 품질과 다양성을 동시에 측정하는 평가 프로토콜을 개발하고 적용한다.
• 퇴행(degeneracy)을 완화하고 전문가의 의미 있는 전문화를 촉진하는 실용적 학습 트릭을 식별한다.

제안 방법

• 지 latent 변수 z가 K개의 전문가 중 하나를 선택하여 x로 주어진 y를 생성하는 조건부 mixture models (Mixture of Experts)를 사용한다.
• 하드 대 소프트 EM, 학습된 대 균일한 사전, 온라인 대 오프라인 책임 업데이트를 조사한다.
• 전문가의 독립적 매개변수화 대 공유 매개변수화의 차이와 책임 계산에 대한 정규화 드롭아웃의 영향을 분석한다.
• Fairseq의 Transformer 아키텍처를 사용한 대규모 MT 벤치마크(WMT En-De, En-Fr, Zh-En)에서 학습 및 평가한다.
• 간단한 디코딩 전략을 제안한다: z를 열거하고 전문가당 탐욕적 디코딩을 수행하여 K개의 가설을 생성한다.

실험 결과

연구 질문

• RQ1 Mixture-of-experts MT 모델이 동시에 다양하고 높은 품질의 번역을 생성할 수 있는가?
• RQ2 설계 선택들(EM 유형, 사전, 매개변수 공유, 업데이트 스케줄, 정규화)이 학습의 열화와 성능에 어떤 영향을 미치는가?
• RQ3 Variational NMT 및 다양한 decoding과 같은 baselines에 비해 어떤 구성이 최적의 품질-다양성 트레이드오프를 제공하는가?
• RQ4 혼합 구성요소를 가진 강건하고 다양한 MT 모델을 학습시키기 위한 실용적 가이드라인은 무엇인가?

주요 결과

• 일부 혼합모형 변형은 품질과 다양성을 견고하게 균형시키며 다참조 설정에서 인간 성능에 근접한다.
• E-step에서 드롭아웃을 비활성화하는 것이 한 전문가만 학습되거나 잠재변수가 무시되는 열화(degeneracy)를 방지하는 데 중요하다.
• 사전이 균일하고 온라인 책임 업데이트를 사용하는 하드 EM(hMup, online-shared)은 강한 다양성과 우수한 품질-다양성 트레이드오프를 제공한다.
• 오프라인 책임 업데이트를 사용하는 독립 매개변수화는 다양성은 높일 수 있지만 품질이 떨어질 수 있으며, 온라인 업데이트를 사용하는 공유 매개변수는 견고한 균형을 이룬다.
• 세 가지 대규모 MT 벤치마크에 걸쳐 Mixture of Experts 모델(hMup)은 variational NMT 및 diverse decoding 베이스라인보다 전반적인 품질-다양성 트레이드오프에서 우수하다.