[論文レビュー] Multitask Learning For Different Subword Segmentations In Neural Machine Translation

Tejas Srinivasan, Ramon Sanabria+1 more|arXiv (Cornell University)|Nov 2, 2019

Natural Language Processing Techniques参考文献 28被引用数 2

ひとこと要約

本稿では、ブロックマルチタスク学習（BMTL）と呼ばれるニューラル機械翻訳アーキテクチャを提案する。このアーキテクチャは、手動での最適な分割選択を必要とせず、語彙、サブワード、文字レベルといった複数のサブワード粒度で翻訳を同時に予測する。1つのモデルで複数の粒度の仮説を生成することで、同じパラメータ数の単一タスクベースラインよりも最大1.7 BLEUポイントの向上を達成し、複数の粒度の出力を後処理で組み合わせることで翻訳品質を向上させることができる。

ABSTRACT

In Neural Machine Translation (NMT) the usage of sub􏰃words and characters as source and target units offers a simple and flexible solution for translation of rare and unseen words. However, selecting the optimal subword segmentation involves a trade-off between expressiveness and flexibility, and is language and dataset-dependent. We present Block Multitask Learning (BMTL), a novel NMT architecture that predicts multiple targets of different granularities simultaneously, removing the need to search for the optimal segmentation strategy. Our multi-task model exhibits improvements of up to 1.7 BLEU points on each decoder over single-task baseline models with the same number of parameters on datasets from two language pairs of IWSLT15 and one from IWSLT19. The multiple hypotheses generated at different granularities can be combined as a post-processing step to give better translations, which improves over hypothesis combination from baseline models while using substantially fewer parameters.

研究の動機と目的

• サブワード分割における手動のハイパーパramータチューニングの必要性をなくすために、複数の粒度を同時に学習すること。
• 異なる言語やデータセットにおいて、表現力と柔軟性のトレードオフを解消するサブワード分割戦略の改善。
• 後処理段階で複数の粒度からの仮説を組み合わせることで翻訳品質を向上させること。
• 複数の予測ヘッド間でパラメータを共有することでモデルの効率性を維持しつつ、単一タスクモデルを上回る性能を達成すること。

提案手法

• 1つのエンコーダデコーダアーキテクチャ内で、語彙レベル、サブワードレベル、文字レベルといった複数のサブワード粒度での出力を予測するマルチタスクNMTフレームワークの設計。
• 各粒度に特化した複数の並列デコーダヘッドを備えた共有エンコーダを使用。
• 各粒度レベルからのクロスエントロピー損失を組み合わせた共有損失関数を用いて、すべてのヘッドを同時に訓練。
• 複数の粒度で生成された仮説を統合して最終翻訳を生成する後処理戦略の適用。
• すべての粒度ヘッド間でエンコーダーと大部分のデコーダー部品を共有することで、パラメータ効率を確保。
• 各分割戦略ごとに別々に訓練する必要がないように、すべての粒度の性能をバランスさせるためにエンドツーエンドで最適化。

実験結果

リサーチクエスチョン

• RQ1 1つのNMTモデルが、パラメータ効率や性能に悪影響を与えることなく、複数のサブワード粒度での翻訳を同時に予測できるか？
• RQ2 複数の粒度を同時に学習することは、単一の分割戦略に最適化するよりも優れた翻訳品質をもたらすか？
• RQ3 複数の粒度からの仮説を後処理で組み合わせることは、より少ないパラメータで標準のアンサンブル手法を上回るか？
• RQ4 同じパラメータ数の単一タスクモデルと比較して、BMTLモデルはBLEUスコアおよび言語ペア間での頑健性においてどのように差をつけるか？

主な発見

• BMTLは、同じパラメータ数の単一タスクベースラインと比較して、IWSLT15およびIWSLT19データセットで最大1.7 BLEUポイントの向上を達成した。
• 各分割レベルごとに別々のトレーニングやハイパーパramータチューニングを必要とせず、全粒度で強力な性能を維持した。
• 異なる粒度からの仮説を後処理で組み合わせた結果、単一タスクモデルからの類似組み合わせよりも優れた翻訳が得られた。
• 通常、言語やデータセットに依存するサブワード分割戦略の広範な探索の必要性が軽減された。
• 1つのモデル内で複数の粒度の予測が効率的に生成され、パラメータ効率性とスケーラビリティが実証された。
• IWSLT15の2つの言語ペアとIWSLT19の1つの言語ペアにおいて一貫した向上が得られたことから、広範な適用可能性が示された。