[論文レビュー] Neural machine translation for low-resource languages

Robert Östling, Jörg Tiedemann|arXiv (Cornell University)|Aug 18, 2017

Natural Language Processing Techniques参考文献 1被引用数 30

ひとこと要約

本論文は、極めて少ないデータで動作する低リソース言語向けの新しいニューラル機械翻訳（NMT）モデルを提案する。このモデルは、文字レベルの符号化と語の対応関係を用いて、翻訳の挿入位置を予測しながら、1トークンずつ目標翻訳を生成することで、最小限のデータでも頑健性を高める。70,000語の学習データしか使用しない状況でも、標準NMTが完全に失敗する中で、9–17%のBLEUスコアを達成し、データが乏しい環境下でのベースラインNMTに対する顕著な改善を示している。

ABSTRACT

Neural machine translation (NMT) approaches have improved the state of the art in many machine translation settings over the last couple of years, but they require large amounts of training data to produce sensible output. We demonstrate that NMT can be used for low-resource languages as well, by introducing more local dependencies and using word alignments to learn sentence reordering during translation. In addition to our novel model, we also present an empirical evaluation of low-resource phrase-based statistical machine translation (SMT) and NMT to investigate the lower limits of the respective technologies. We find that while SMT remains the best option for low-resource settings, our method can produce acceptable translations with only 70000 tokens of training data, a level where the baseline NMT system fails completely.

研究の動機と目的

• 極めて少ない並列学習データ（並列コーパス）でのニューラル機械翻訳の実現可能性を調査すること。
• 標準NMTモデルが非常に小さな並列コーパス（例：約70,000トークン）で学習された場合に失敗することを解消すること。
• 局所的文脈モデリングと動的再配置を導入することで、データが乏しい状況下でも翻訳の適切さと流暢さを向上させること。
• 低リソース状況下での統語的SMTとNMTの性能を実験的に比較し、性能の限界を特定すること。

提案手法

• モデルは、双方向LSTMを用いて各ソーストークンを文字レベルの埋め込みとして符号化し、オープンボキャブラリー対応を可能にする。
• ソース文全体の表現は、符号化されたソーストークンの列に対して2番目の双方向LSTMを適用することで生成される。
• 目標トークンは、目標状態ベクトルに条件付けられた文字レベルのLSTMデコーダーを用いて1つずつ生成される。
• 目標状態ベクトルは、符号化されたソース位置と直前の目標トークンの埋め込みを組み合わせたものである。
• 全結合ネットワークが、目標系列の隠れ状態を用いて、各生成された目標トークンの挿入位置を予測する。
• word alignments は、特に低リソース状況下で極めて重要な役割を果たす再配置メカニズムのための監視信号を提供する。

実験結果

リサーチクエスチョン

• RQ1 70,000組の並列文書しか利用できない状況で、ニューラル機械翻訳が有効に機能するか。
• RQ2 動的再配置を伴うトークン単位の生成は、標準NMTや統語的SMTと比較して、低リソース状況下でどのように性能を発揮するか。
• RQ3 極めて限られた学習データ下で、語の対応関係が翻訳品質をどの程度向上させられるか。
• RQ4 データが乏しい状況下でも、標準NMTよりも翻訳の適切さが保たれるか。たとえ流暢さがわずかに低下しても。
• RQ5 低リソース言語における許容可能なニューラル機械翻訳性能を達成するための学習データ量の下限は何か。

主な発見

• 提案モデルは、70,000語の学習トークンでの学習のみで、WatchtowerおよびBibleのテストセットで9%～17%のBLEUスコアを達成した。この設定では標準NMTは意味のある出力を生成できない。
• 統語的SMTは低リソース状況下でも優れた性能を示すが、提案されたNMTモデルは標準NMTとの性能差を顕著に縮小している。
• Watchtowerテストセットでは、Watchtowerデータで学習した場合、スペイン語-英語翻訳で17.0%のBLEUスコアを達成し、標準NMTベースライン（3.0%）およびHNMT（3.0%）を上回った。
• Bibleデータで学習したドイツ語-英語翻訳では、Bibleの20%のデータで10.2のBLEUスコアを達成した。SMTは7.9、標準NMTは5.5であった。
• 文字レベルの符号化と再配置メカニズムの導入により、モデルは標準NMTよりもデータが乏しい環境下でも一般化性能が高く、翻訳の適切さをよりよく保持している。
• グリーディデコードを用いても性能が競争力を持っていることから、計算制約がなければビームサーチを用いることでさらなる性能向上が期待できる。