[論文レビュー] Sequence to Sequence Mixture Model for Diverse Machine Translation

Xuanli He, Gholamreza Haffari+1 more|arXiv (Cornell University)|Oct 17, 2018

Natural Language Processing Techniques参考文献 21被引用数 13

ひとこと要約

この論文では、並列コーパスの言語的変異に基づくソフトクラスタリングを学習することで、翻訳の多様性と品質を向上させる、専門化したニューラル機械翻訳モデルの委員会を用いたシーケンス・ツー・シーケンス混合モデルS2SMixを提案する。各コンポーネントは周辺尤度最適化により並列コーパスのソフトクラスタリングを学習し、わずかなパラメータ増加と推論時の計算コストなしに、多様で高品質な翻訳を実現する。

ABSTRACT

Sequence to sequence (SEQ2SEQ) models often lack diversity in their generated translations. This can be attributed to the limitation of SEQ2SEQ models in capturing lexical and syntactic variations in a parallel corpus resulting from different styles, genres, topics, or ambiguity of the translation process. In this paper, we develop a novel sequence to sequence mixture (S2SMIX) model that improves both translation diversity and quality by adopting a committee of specialized translation models rather than a single translation model. Each mixture component selects its own training dataset via optimization of the marginal loglikelihood, which leads to a soft clustering of the parallel corpus. Experiments on four language pairs demonstrate the superiority of our mixture model compared to a SEQ2SEQ baseline with standard or diversity-boosted beam search. Our mixture model uses negligible additional parameters and incurs no extra computation cost during decoding.

研究の動機と目的

• 標準的なシーケンス・ツー・シーケンス（Seq2Seq）ニューラル機械翻訳モデルにおける多様性の欠如に対処すること。
• 生成出力における語彙的・構文的変異を増加させながら翻訳品質を向上させること。
• 標準的なSeq2Seqと比較して、推論コストが低く、パラメータの追加が最小限であるモデルを開発すること。
• 明示的なアノテーションや追加の監視なしに、並列コーパス内のドメインやスタイル固有の変異を学習すること。
• 潜在的な変異を専門化したコンポーネントの混合により、多様で高品質な翻訳を可能にすること。

提案手法

• 各入力文に対してグローバルな離散的潜在変数を導入し、学習データ内の異なるクラスタに条件づける、シーケンス・ツー・シーケンス混合モデル（S2SMix）を導入する。
• 各混合コンポーネントは周辺尤度の最適化により訓練され、言語的変異に基づいて並列コーパスのソフトクラスタリングを誘導する。
• 混合コンポーネントは大部分のモデルパラメータと計算を共有しており、追加のパラメータと推論コストを最小限に抑える。
• 大規模な混合モデルにおける記憶コストの膨大さを回避するため、訓練中に事後分布をモンテカルロサンプルで近似する。
• 注意機構を備えたSeq2Seqと双方向LSTM、2層のデコーダーを用いて、4つの言語対（En→De、En→Fr、En→Vi、En→Es）に適用する。
• デコードは標準的なビームサーチを用い、デコーディングアルゴリズムに変更を加えない。

実験結果

リサーチクエスチョン

• RQ1 専門化したSeq2Seqモデルの混合は、品質を損なわず翻訳の多様性を向上させることができるか？
• RQ2 周辺尤度学習による並列コーパスのソフトクラスタリングは、言語的変異（例：スタイル、ジャンル、トピック）を効果的に捉えることができるか？
• RQ3 S2SMixモデルは、標準的なSeq2Seq、あるいは多様性を向上させるビームサーチを用いた場合と比較して、より優れた多様性とBLEUスコアを達成するか？
• RQ4 パラメータの追加が最小限で推論コストも低く保たれる中で、性能が向上するか？
• RQ5 多様な言語対や翻訳ドメインにわたり、モデルは有効であるか？

主な発見

• S2SMixは、4つの言語対すべてにおいて、標準的なSeq2Seqおよび多様性を向上させるビームサーチベースラインと比較して、BLEUスコアおよび翻訳の多様性の両面で一貫して優れている。
• モデルは、同じ入力に対して複数の正しい多様な翻訳（同義語や構文的変異を含む）を生成でき、定性的な例で示されている。
• 4つの混合コンポーネントを用いることで、多様性とBLEUスコアに顕著な向上が得られ、少数のコンポーネントでも有効性が確認された。
• モデルはわずかな追加パラメータと推論時の追加計算コストなしに運用可能であり、効率的かつ実装可能である。
• 周辺尤度最適化によるソフトクラスタリングは、類似した言語的変異を持つ文を効果的にグループ化し、専門化したコンポーネントの学習を可能にした。
• 多様性指標を用いた定量的分析により、S2SMixはベースラインと比較してより多様な出力を生成することが確認され、同時に文法的自然さと正確性を維持または向上させた。