[論文レビュー] Translating Translationese: A Two-Step Approach to Unsupervised Machine Translation

Nima Pourdamghani, Nada Aldarrab+3 more|arXiv (Cornell University)|Jun 11, 2019

Natural Language Processing Techniques参考文献 28被引用数 4

ひとこと要約

本稿では、まず二段階の教師なしニューラル機械翻訳フレームワークを提案する。最初の段階で、二語対訳辞書を用いて「翻訳的表現（Translationese）」の見出しを生成し、2番目の段階で事前学習済みモデルを用いてそれを流暢なターゲット言語のテキストに翻訳する。この手法は、並列学習データや各新しいソース言語ごとの微調整を必要とせず、高リソース言語では最先端または競争力のあるBLEUスコアを達成し、14の低リソース言語に対しても高品質な翻訳を生成する。

ABSTRACT

Given a rough, word-by-word gloss of a source language sentence, target language natives can uncover the latent, fully-fluent rendering of the translation. In this work we explore this intuition by breaking translation into a two step process: generating a rough gloss by means of a dictionary and then `translating' the resulting pseudo-translation, or `Translationese' into a fully fluent translation. We build our Translationese decoder once from a mish-mash of parallel data that has the target language in common and then can build dictionaries on demand using unsupervised techniques, resulting in rapidly generated unsupervised neural MT systems for many source languages. We apply this process to 14 test languages, obtaining better or comparable translation results on high-resource languages than previously published unsupervised MT studies, and obtaining good quality results for low-resource languages that have never been used in an unsupervised MT scenario.

研究の動機と目的

• 新しいソース言語に対して再訓練を必要としない、高速でスケーラブルな教師なし機械翻訳システムの開発。
• 並列モノリンガルデータが乏しいもしくは存在しない低リソース言語翻訳の課題に対処すること。
• モジュラーなパイプラインを用いて適切性（見出し付け）と流暢さ（翻訳）を分離することで、翻訳品質の向上。
• オフザシェルツールとソース-ターゲット辞書のみを用いて、教師なしMTシステムの迅速な展開を可能にすること。
• 教師なし設定下で、高リソース言語およびこれまで未検証の低リソース言語において、強力な性能を示すこと。

提案手法

• この手法は、ソース側を二語対訳辞書を用いて「翻訳的表現（Translationese）」に変換した上で、多様な並列データで事前学習済みの「翻訳的表現→ターゲット」翻訳モデルを用いる。
• 並列文レベルデータを一切必要とせず、オフザシェルの単語埋め込みとアライメント技術を用いて、オンデマンドでソース-ターゲットの二語対訳辞書を構築する。
• ソーステキストは、辞書を用いて「翻訳的表現（Translationese）」——一対一の擬似翻訳——に見出し付けされ、意味的内容は保持されるが、流暢さに欠ける。
• その後、事前学習済みの翻訳モデルが、その「翻訳的表現（Translationese）」を流暢で自然なターゲット言語の出力に変換する。
• 単語埋め込みの学習にはモノリンガルデータを活用し、クロスリンガル埋め込みアライメントによる教師なし辞書学習を実施する。
• 新しいソース言語に適応する際、再訓練やファインチューニングを一切回避するため、14言語で一括して迅速に展開可能である。

実験結果

リサーチクエスチョン

• RQ1 辞書ベースの見出し付けと事前学習済み翻訳モデルを組み合わせた二段階パイプラインが、競争力のある教師なし機械翻訳性能を達成できるか？
• RQ2 この手法は、過去の教師なしMTシステムで使用されていない低リソース言語にどれほど一般化できるか？
• RQ3 並列学習データや各ターゲット言語ごとの言語固有のチューニングを一切必要とせず、高品質な翻訳を達成できるか？
• RQ4 初期の「翻訳的表現（Translationese）」見出し付けの品質が、最終的な翻訳出力にどの程度影響を与えるか？
• RQ5 バックトランスレーションやピボットベース手法に依存する既存の教師なしNMTアプローチを上回れるか？

主な発見

• フランス語では新規テスト2014でBLEUスコア21.0を達成し、Lample et al. (2018c) のトランスフォーマー・モデルを除く、すべての先行教師なしNMT手法を上回った。
• ロシア語ではBLEUスコア12.0を達成し、以前の教師なし手法よりも顕著に優れており、最先端の結果と同等であった。
• インドネシア語、ポーランド語、ポルトガル語、カタルーニャ語など10の低リソース言語において、13.7〜23.1の妥当なBLEUスコアを達成し、未検証言語に対しても実用性を示した。
• フランス語やドイツ語を含む全テスト言語で、最も類似した手法であるKim et al. (2018) よりも優れた結果を得た。
• 「翻訳的表現（Translationese）」段階のみでフランス語に対してBLEUスコア11.6を達成し、見出し付け段階が適切な意味的内容を保持していることを示した。
• 新しいソース言語に適応する際、再訓練やハイパーパramータチューニングを一切必要とせず、1つの事前学習済みモデルで14言語に迅速に展開可能であった。