[論文レビュー] Fully Character-Level Neural Machine Translation without Explicit Segmentation

Jason D. Lee, Kyunghyun Cho+1 more|arXiv (Cornell University)|Oct 10, 2016

Natural Language Processing Techniques被引用数 8

ひとこと要約

この論文は、明示的な区切りなしに、ソース文字列を直接ターゲット文字列にマッピングする完全な文字レベルニューラル機械翻訳モデルを提案する。最大プーリングとハイウェイ層を備えた文字レベル畳み込みエンコーダーを用いることで、サブワードレベルのモデルと同等の学習速度を達成し、特にFI-ENやRU-ENのような低リソース言語対においてもそれを上回る性能を発揮する。また、文内でのコードスイッチングのシームレスな処理も可能となる。

ABSTRACT

Most existing machine translation systems operate at the level of words, relying on explicit segmentation to extract tokens. We introduce a neural machine translation (NMT) model that maps a source character sequence to a target character sequence without any segmentation. We employ a character-level convolutional network with max-pooling at the encoder to reduce the length of source representation, allowing the model to be trained at a speed comparable to subword-level models while capturing local regularities. Our character-to-character model outperforms a recently proposed baseline with a subword-level encoder on WMT'15 DE-EN and CS-EN, and gives comparable performance on FI-EN and RU-EN. We then demonstrate that it is possible to share a single character-level encoder across multiple languages by training a model on a many-to-one translation task. In this multilingual setting, the character-level encoder significantly outperforms the subword-level encoder on all the language pairs. We observe that on CS-EN, FI-EN and RU-EN, the quality of the multilingual character-level translation even surpasses the models specifically trained on that language pair alone, both in terms of BLEU score and human judgment.

研究の動機と目的

• 明示的な語の区切りに依存せず、完全に文字レベルで動作するニューラル機械翻訳システムの開発。
• 特に構文的に豊かな言語において、レア語やOOV（語彙外語）語の処理に限界を示す語レベルモデルの課題を克服すること。
• 多くの言語から1つの言語への多言語翻訳設定において、1つの文字レベルエンコーダーを複数の言語に共有できるかを調査すること。
• モデルが低リソース言語対に一般化できるか、および明示的な言語識別なしに文内コードスイッチングを正しく翻訳できるかを評価すること。

提案手法

• 最大プーリングとハイウェイ層を備えた文字レベル畳み込みエンコーダーを用い、シーケンス長を短縮し、学習効率を向上させる。
• エンコーダーは生の文字シーケンスを処理し、局所的な規則性や語彙的パターンを捉えた文脈的表現を生成する。
• 注意機構を備えた双方向RNNベースのデコーダーが、エンコーダーからの文脈ベクトルに条件付けられ、1文字ずつターゲット文字を生成する。
• 多言語学習では、1つの文字レベルエンコーダーを複数のソース言語（ドイツ語、チェコ語、フィンランド語、ロシア語）に共有し、すべてを英語に翻訳する。
• 交差エントロピー損失を用いてエンドツーエンドで学習し、ミニバッチ正則化とドロップアウトを用いた確率的勾配降下法で最適化する。
• BLEUスコアと人的評価を用いてシステムを評価し、コードスイッチングおよび低リソース設定におけるアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 明示的な区切りなしに、完全な文字レベルNMTモデルはサブワードレベルモデルと同等の性能を達成できるか？
• RQ2 複数の言語にまたがる文字レベルエンコーダーを共有することで、FI-EN や RU-EN のような低リソース言語対での性能が向上するか？
• RQ3 明示的な言語識別なしに、文内コードスイッチングを含む文を正しく翻訳できるか、モデルの一般化能力はいかがなものか？
• RQ4 文字レベル多言語モデルのパラメータ効率は、二言語のサブワードレベルモデルと比べてどの程度か？

主な発見

• DE-EN および CS-EN において、文字レベルモデルはサブワードレベルベースラインを上回り、より高い BLEU スコアを達成し、希少語の処理も優れている。
• FI-EN および RU-EN においては、文字レベルモデルはサブワードレベルベースラインと同等の性能を発揮するが、多言語学習において顕著な改善が見られる。
• FI-EN、CS-EN、RU-EN において、文字レベル多言語モデルは、BLEU スコアおよび人的評価の両面で、二言語のサブワードレベルモデルおよび二言語の文字レベルモデルを上回る。
• モデルは文内コードスイッチングへの一般化が強く、言語識別なしに混合言語入力を一貫性のある英語出力に翻訳できる。
• 多タスク学習による正則化のおかげで、特に FI-EN のような低リソース対において過学習しにくく、安定性が向上する。
• 文字レベルモデルの学習は、サブワードレベルベースラインに比べて約35％遅いが、1つのGPUで2週間以内に実行可能である。