[論文レビュー] Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates

Taku Kudo|arXiv (Cornell University)|Apr 29, 2018

Natural Language Processing Techniques被引用数 6

ひとこと要約

この論文では、ニューラル機械翻訳（NMT）のロバスト性を向上させるために、トレーニング中にユニグラム言語モデルからサンプリングされた複数のサブワード分割を用いて訓練する、シンプルで効果的な手法、サブワード正則化を導入する。このアプローチにより、特に低リソースおよびドメイン外設定において、分割のあいまいさをデータ拡張の一種として活用することで、性能が顕著に向上する。

ABSTRACT

Subword units are an effective way to alleviate the open vocabulary problems in neural machine translation (NMT). While sentences are usually converted into unique subword sequences, subword segmentation is potentially ambiguous and multiple segmentations are possible even with the same vocabulary. The question addressed in this paper is whether it is possible to harness the segmentation ambiguity as a noise to improve the robustness of NMT. We present a simple regularization method, subword regularization, which trains the model with multiple subword segmentations probabilistically sampled during training. In addition, for better subword sampling, we propose a new subword segmentation algorithm based on a unigram language model. We experiment with multiple corpora and report consistent improvements especially on low resource and out-of-domain settings.

研究の動機と目的

• 未知語の影響を軽減するサブワードユニットを用いて、ニューラル機械翻訳（NMT）におけるオープンボリューム問題に対処する。
• 同じ単語が複数の有効な方法で分割可能であるというサブワード分割の本質的なあいまいさを、モデルの一般化を向上させるデータ拡張の一種として活用する。
• 確率的かつ多様なサブワード候補を生成できるように、ユニグラム言語モデルに基づく新しいサブワード分割アルゴリズムを開発する。
• NMTアーキテクチャを変更することなく、特に低リソースおよびドメイン外の翻訳設定において、モデルのロバスト性と性能を向上させる。

提案手法

• 各入力文に対して、分割確率分布から確率的に複数のサブワード系列をトレーニング時に即時にサンプリングする、オンザフライのサブワードサンプリングを提案する。
• 複数のサブワード分割を平均化するためのマージナライズド尤度目的関数（式3）を用いてNMTモデルを訓練する。これはk個の候補を用いたモンテカルロ近似によって実装される。
• 異なる分割系列に確率を割り当てるユニグラム言語モデルに基づく新しいサブワード分割アルゴリズムを導入し、より現実的な分割に偏ったサンプリングを可能にする。
• ソース文およびターゲット文を独立して処理することで、エンコーダーまたはデコーダー側のどちらに対しても柔軟な正則化を可能にする。
• サンプリングされた分割の多様性と品質を制御するため、ハイパーパrameter l（サンプル候補数）とα（スムージング定数）を用いる。
• NMTモデルの下位アーキテクチャに依存しない軽量な正則化手法として実装され、モデル自体の変更は不要である。

実験結果

リサーチクエスチョン

• RQ1 NMTトレーニング中に複数のサブワード分割を活用することで、モデルのロバスト性と翻訳品質が向上するか？
• RQ2 言語モデルに基づくサブワード分割アルゴリズムは、標準的なBPEよりも優れたサンプリングの多様性と性能を達成するか？
• RQ3 サブワード正則化は、低リソースおよびドメイン外の翻訳設定においてどのように性能に影響を与えるか？
• RQ4 両方のシーケンス（ソースおよびターゲット）に正則化を適用した場合、その効果はより強く現れるか、それとも片方の側がより寄与するか？
• RQ5 一貫した性能向上を得るためのサンプリングハイパーパrameter（l と α）の最適な設定は何か？

主な発見

• IWSLT15（en→vi）では、ベースラインと比較して2.18 BLEUポイントの向上を達成し、両方のシーケンスに正則化を適用した場合の最終スコアは27.68となった。
• IWSLT17（en→vi）データセットでは、ベースラインのBLEU25.49から、完全な正則化で27.68に向上し、ドメインを問わず一貫した向上が確認された。
• ユニグラム言語モデルを用いたサブワード正則化は、WMT14（en→de）で最高のBLEUスコア25.04を記録し、BPE（24.53）および他のサブワード手法を上回った。
• 片側（ソースまたはターゲットのみ）の正則化でも測定可能な向上が得られた（例：en→viで26.10 BLEU）ことから、この手法はエンコーダーとデコーダーの両方のコンponentに利益をもたらすことが示された。
• スムージングハイパーパrameter αは極めて重要である：α=0.0に設定すると、特にlが大きい場合に性能が低下し、言語モデルの確率に基づいた偏りのあるサンプリングが不可欠であることが示された。
• この手法は特に低リソース設定（例：IWSLT15）で最も効果的であり、性能向上が顕著に現れるため、データが少ない状況での強い正則化効果が示唆された。