[論文レビュー] Mixture Models for Diverse Machine Translation: Tricks of the Trade

Tianxiao Shen, Myle Ott+2 more|arXiv (Cornell University)|Feb 20, 2019

Topic Modeling被引用数 61

ひとこと要約

この論文は、条件付き Mixture of Experts の多様なニューラル機械翻訳に対する包括的な経験的研究を提供し、Variational NMT や diverse decoding のベースラインと比較して、品質と多様性のトレードオフを有利にする主要な設計選択とトレーニングのコツを特定します。

ABSTRACT

Mixture models trained via EM are among the simplest, most widely used and well understood latent variable models in the machine learning literature. Surprisingly, these models have been hardly explored in text generation applications such as machine translation. In principle, they provide a latent variable to control generation and produce a diverse set of hypotheses. In practice, however, mixture models are prone to degeneracies---often only one component gets trained or the latent variable is simply ignored. We find that disabling dropout noise in responsibility computation is critical to successful training. In addition, the design choices of parameterization, prior distribution, hard versus soft EM and online versus offline assignment can dramatically affect model performance. We develop an evaluation protocol to assess both quality and diversity of generations against multiple references, and provide an extensive empirical study of several mixture model variants. Our analysis shows that certain types of mixture models are more robust and offer the best trade-off between translation quality and diversity compared to variational models and diverse decoding approaches.\footnote{Code to reproduce the results in this paper is available at \url{https://github.com/pytorch/fairseq}}

研究の動機と目的

• 多様な仮説を用いた多モードな翻訳出力をモデル化する必要性を動機づける。
• 機械翻訳の混成モデル設計選択の広範な範囲を評価する（Hard/Soft EM、事前分布、パラメータ共有）。
• 複数の参照を用いて翻訳品質と多様性を同時に測定する評価プロトコルを開発・適用する。
• 発生しうる退化を抑制し、専門家の意味ある専門化を促進する実用的なトレーニングのコツを特定する。

提案手法

• 条件付き Mixture of Experts を用い、潜在変数 z が x を与えられたときに K 個の expert の中から y を生成する。
• Hard EM と Soft EM、学習済み priors と一様 priors、オンライン vs オフラインの責任度の更新を調査する。
• expert の独立パラメータ化と共有パラメータ化を比較し、責任度計算への正則化ドロップアウトの影響を分析する。
• Fairseq の Transformer アーキテクチャを用いて、大規模 MT ベンチマーク（WMT En-De、En-Fr、Zh-En）で訓練・評価する。
• 単純なデコード戦略を提案する：z を列挙して各 expert で greedy decoding することで K 個の仮説を生成する。

実験結果

リサーチクエスチョン

• RQ1 Mixture-of-Experts MT モデルは、同時に多様で高品質な翻訳を生み出せるのか？
• RQ2 設計選択（EMのタイプ、事前分布、パラメータ共有、更新スケジュール、正則化）が訓練の退化や性能にどのように影響するか？
• RQ3 変分 NMT や diverse decoding などのベースラインと比較して、どの構成が最良の品質-多様性トレードオフを達成するか？
• RQ4 混成コンポーネントを用いた頑健で多様な MT モデルを訓練する際の実用的な指針は何か？

主な発見

• 特定の mixture-model のバリアントは、品質と多様性のバランスを堅固に取り、多参照設定で人間の性能に近づく。
• E ステップでドロップアウトを無効化することは、1つの expert のみが訓練される、または潜在変数が無視される退化を防ぐ上で重要である。
• Hard EM と uniform priors、およびオンライン責任更新（hMup、online-shared）は、品質-多様性のトレードオフが有利で強い多様性を提供する。
• 独立パラメータ化とオフライン責任更新は多様性を高くするが品質を低下させる可能性がある；オンライン更新を用いた共有パラメータは堅牢なバランスをもたらす。
• 3 つの大規模 MT ベンチマークにおいて、Mixture of Experts モデル（hMup）は全体的な品質-多様性トレードオフで変分 NMT および diverse decoding のベースラインを上回る。