[論文レビュー] Augmenting Statistical Machine Translation with Subword Translation of Out-of-Vocabulary Words

Nelson F. Liu, Jonathan May+2 more|arXiv (Cornell University)|Aug 16, 2018

Natural Language Processing Techniques参考文献 39被引用数 9

ひとこと要約

本論文は、語彙外語（OOV）語を訓練中に見なかった語として翻訳するためのサブワードベースの手法を提案し、表記的手がかりを用いて翻訳を改善する。3つの一般化可能なアプローチ（編集距離、ベクトル距離、文字レベルのシーケンス・ツー・シーケンスモデル）を導入し、14のタイプオロジカルに多様な言語で一貫したBLEUスコアの向上（平均0.5、最大2.0）を示した。特に低リソース環境で顕著な改善が得られた。

ABSTRACT

Most statistical machine translation systems cannot translate words that are unseen in the training data. However, humans can translate many classes of out-of-vocabulary (OOV) words (e.g., novel morphological variants, misspellings, and compounds) without context by using orthographic clues. Following this observation, we describe and evaluate several general methods for OOV translation that use only subword information. We pose the OOV translation problem as a standalone task and intrinsically evaluate our approaches on fourteen typologically diverse languages across varying resource levels. Adding OOV translators to a statistical machine translation system yields consistent BLEU gains (0.5 points on average, and up to 2.0) for all fourteen languages, especially in low-resource scenarios.

研究の動機と目的

• 訓練中に未確認の語彙外語（OOV）語を翻訳するという、統計的機械翻訳（SMT）における長年の課題に対処すること。
• 人間が語彙的・表記的パターンから翻訳を推測できる能力にインspiredし、SMTのOOV処理の限界を、サブワードの表記的情報を利用することで克服すること。
• 言語固有のヒューリスティクスや大量の平行語彙を必要としない、一般化可能で言語に依存しないOOV翻訳手法を開発すること。
• 多様な言語でOOV翻訳手法の内在的性能を評価し、完全なSMTシステムに統合した際の影響を測ること。
• サブワードレベルの推論が、学習データに存在しない新しいターゲット側語の生成を可能にすることを示すこと。

提案手法

• OOVトークンを、レーベンシュタイン距離が最小となるインボキャリュラリー内外国語語にマッチングし、そのマッチした語の最も頻出する英語翻訳を予測する。
• 単語文書データで学習されたFastText語彙埋め込みを用い、OOV語とインボキャリュラリー語のベクトル間のコサイン類似度を計算し、類似度が最も高い語を選択して翻訳予測を行う。
• 文字レベルのシーケンス・ツー・シーケンス（seq2seq）モデルを訓練し、OOV入力から1トークンずつ英語翻訳を生成することで、学習データにない新しいターゲット語の構成を可能にする。
• 言語固有のルールを必要とせず、単語文書データ、二語対訳語彙、並列コーパスから抽出した語のアラインメント翻訳表を用いてOOV翻訳器を構築する。
• 訓練データに含まれない保留済みのOOV語ペairを用いて、14の言語ペアで内在的評価を実施し、別個の検証およびテストセットを用意する。
• 最も優れた性能を示したOOV翻訳器を構文ベースSMT（SBMT）システムに統合し、標準テストセット上で全体のBLEUスコア向上を測定する。

実験結果

リサーチクエスチョン

• RQ1 多様な言語に一般化可能な形で、サブワードレベルの表記的類似性を活用してOOV語を翻訳することは可能か？
• RQ2 編集距離、ベクトル距離、seq2seqの3つのサブワードベースのOOV翻訳戦略は、さまざまなOOVタイプにおいて、どのように性能を比較するか？
• RQ3 OOV翻訳器は、特に低リソース環境において、全体のSMTシステム性能をどの程度向上させるか？
• RQ4 seq2seqモデルは、サブワードユニットを再結合することで、学習時に確認しなかった新しい英語語を生成できるか？
• RQ5 各手法が最も効果的に処理できるOOVタイプ（例：語彙的変形、複合語、誤字）は何か、そしてその理由は何か？

主な発見

• 構文ベースSMTシステムにOOV翻訳器を統合することで、14の言語すべてで一貫したBLEUスコア向上が得られ、平均で0.5の向上、低リソース環境では最大2.0の向上を達成した。
• シーケンス・ツー・シーケンス（seq2seq）モデルは、語彙的変形語と複合語において最高の性能を示し、語彙的変形語では24.6％の正確一致率、複合語では40.0％の正確一致率を達成し、編集距離およびベクトル距離手法を上回った。
• 編集距離法は誤字に対して最も優れた性能（31.6％の正確一致率）を示したが、ベクトル距離法は固有名詞に対してより優れた性能（20.0％の正確一致率）を示したが、seq2seqモデルは依然として優れている（60.0％の正確一致率）。
• seq2seqモデルは、学習データに存在しない新しい英語語を効果的に生成でき、例として「cyberviolence」や「balkanized」のような語を生成した。これは、サブワードユニットを再結合して未確認のターゲット語トークンを構成できる能力を示している。
• 編集距離法は表記の類似性（例：発音の類似）のケースで21.4％の正確一致率を示し、seq2seqモデルと同等の性能を示したが、ベクトル距離法は14.3％にとどまり、劣っていた。
• 内在的評価では、seq2seqモデルが多様なOOVタイプに最も一般化しやすく、全体の正確一致率が26.0％に達した。これは編集距離法（17.0％）およびベクトル距離法（14.0％）を大きく上回った。