[論文レビュー] Character-based Neural Machine Translation

Ling Wang, Isabel Trancoso+2 more|arXiv (Cornell University)|Nov 14, 2015

Natural Language Processing Techniques参考文献 26被引用数 211

ひとこと要約

この論文では、文字に基づくニューラル機械翻訳モデルを提案し、語の表現を文字から構築し、目標語の語を1文字ずつ逐次生成することで、未観測の語の形態的変形に対しても効果的な翻訳を実現する。このモデルは、明示的な語彙前処理を不要とし、オープン語彙翻訳を可能にする一方で、語ベースのモデルと同等の性能を達成する。

ABSTRACT

We introduce a neural machine translation model that views the input and output sentences as sequences of characters rather than words. Since word-level information provides a crucial source of bias, our input model composes representations of character sequences into representations of words (as determined by whitespace boundaries), and then these are translated using a joint attention/translation model. In the target language, the translation is modeled as a sequence of word vectors, but each word is generated one character at a time, conditional on the previous character generations in each word. As the representation and generation of words is performed at the character level, our model is capable of interpreting and generating unseen word forms. A secondary benefit of this approach is that it alleviates much of the challenges associated with preprocessing/tokenization of the source and target languages. We show that our model can achieve translation results that are on par with conventional word-based models.

研究の動機と目的

• 語ベースのニューラル機械翻訳における未知語の取り扱いの限界と前処理依存性の問題を解決すること。
• 従来の劣性の仮定にもかかわらず、文字レベルのモデリングが競争力のある翻訳性能を達成できるかどうかを検討すること。
• エンティティ翻訳を実現し、源言語および標的言語の両方で未学習の形態的変形にも一般化できること。
• 語彙を事前に定義する依存性を減らし、文字のみを明示的にモデル化することでスケーラビリティを向上させること。

提案手法

• モデルは、語の表現を階層的アーキテクチャを用いて文字レベルの埋め込みから構成する、双方向LSTM（BLSTM）を用いて源文を符号化する。
• 語の表現は、語内の文字列を文字レベルのエンコーダーで符号化し、その後BLSTMによる語レベルの文脈表現を介して生成される。
• 標的語は、語内の前の文字と源文の文脈に条件づけられて、1文字ずつ自己回帰的に生成される。
• デコード中に、源語と標的語をアライメントするための共同注意メカニズムが用いられ、注意は源語の表現に対して計算される。
• 語の境界を定義するために、語の開始（SOW）および語の終了（EOW）トークンが使用される。
• 語レベルの表現は連続空間にマップされ、文字レベルのデコーダーを介して標的語が生成される。これにより、形態的一般化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 文字レベルのニューラル機械翻訳モデルは、語ベースのモデルと同等の性能を達成できるか？
• RQ2 このモデルは、源言語および標的言語の両方で未学習の語の形態的変形に効果的に一般化できるか？
• RQ3 文字レベルのモデリングは、前処理や語彙サイズの制限への依存を軽減するか？
• RQ4 文字レベルの構成から、形態的パターンをどれほど効果的に学習できるか？
• RQ5 自己回帰的1文字生成は、オープン語彙翻訳をどの程度サポートするか？

主な発見

• 文字ベースのモデルは、標準ベンチマークにおいて、最先端の語ベースモデルと同等の翻訳性能を達成する。
• 「subsidisation」→「subsídio」などの形態的変種のような未知語を効果的に翻訳することで、学習語彙を超えた一般化が実証された。
• 「reconstrução」→「reconstruções」のような複数形の正しく生成された形態は、文字レベルのパターンから学習されたポルトガル語の複数形規則を示している。
• 「subsídio」の代わりに「subsidade」といった妥当ではあるが誤りの形を生成する例があり、事前学習による改善の余地があることが示唆された。
• 文字レベルの生成メカニズムは、前件の決定語に起因する正しい複数形の生成を通じて、語間の依存関係を保持していることが観察された。
• 明示的な語レベルの語彙と前処理の必要性が減少し、スケーラブルでオープン語彙の翻訳を支援する。