[論文レビュー] Unsupervised Neural Machine Translation with SMT as Posterior Regularization

Shuo Ren, Zhirui Zhang+3 more|arXiv (Cornell University)|Jan 14, 2019

Natural Language Processing Techniques参考文献 28被引用数 18

ひとこと要約

この論文は、後方正則化としての句ベース統計的機械翻訳（SMT）を統合することで、ノイズ除去とNMTの訓練をガイドする、新しい非教師ありニューラル機械翻訳（NMT）フレームワークを提案する。SMTとNMTを統合的なEMフレームワークで同時に最適化することで、ノイズの多い逆翻訳からの誤り蓄積を軽減し、en-frおよびen-de翻訳タスクで最先端の性能を達成した。

ABSTRACT

Without real bilingual corpus available, unsupervised Neural Machine Translation (NMT) typically requires pseudo parallel data generated with the back-translation method for the model training. However, due to weak supervision, the pseudo data inevitably contain noises and errors that will be accumulated and reinforced in the subsequent training process, leading to bad translation performance. To address this issue, we introduce phrase based Statistic Machine Translation (SMT) models which are robust to noisy data, as posterior regularizations to guide the training of unsupervised NMT models in the iterative back-translation process. Our method starts from SMT models built with pre-trained language models and word-level translation tables inferred from cross-lingual embeddings. Then SMT and NMT models are optimized jointly and boost each other incrementally in a unified EM framework. In this way, (1) the negative effect caused by errors in the iterative back-translation process can be alleviated timely by SMT filtering noises from its phrase tables; meanwhile, (2) NMT can compensate for the deficiency of fluency inherent in SMT. Experiments conducted on en-fr and en-de translation tasks show that our method outperforms the strong baseline and achieves new state-of-the-art unsupervised machine translation performance.

研究の動機と目的

• 反復的逆翻訳によって生成されるノイズの多い擬似並列データに起因する非教師ありNMTにおける誤り蓄積の問題に対処する。
• 句テーブルを用いて誤りの少ない翻訳パターンをフィルタリングすることで、SMTのノイズ耐性を活用する。
• モデルアーキテクチャの変更なしに、統一されたEMフレームワークにおける共同学習により、SMTとNMTの相互改善を可能にする。
• NMTの流暢さとSMTのパターンベースのノイズフィルタリングを組み合わせることで、翻訳の流暢さと正確性を向上させる。
• 標準ベンチマークタスクにおける非教師あり機械翻訳の最先端性能を達成する。

提案手法

• 多言語言語モデルと、双方向文埋め込みから導出された語レベル翻訳テーブルを用いて、SMTモデルを初期化する。
• SMTとNMTの共同学習を、元のNMTおよびSMTアーキテクチャを保持する後方正則化問題として定式化する。
• EMアルゴリズムを用いて反復的に両モデルを最適化する：SMTはノイズの多い翻訳をフィルタリングすることで擬似並列データを精錬し、NMTは流暢さを向上させる。
• SMTの句テーブルを制約として用い、頻度の高い信頼性の高い翻訳パターンを優先するようにNMTのデコードを正則化する。
• 段階的に両モデルを改善する：NMTはSMTのためのより良い擬似データを生成し、SMTはNMTの誤りの多い出力を是正する。
• SMTがノイズ除去フィルタとして機能し、NMTが流暢さを向上させる統一されたトレーニングループを維持する。両モデルは同時に進化する。

実験結果

リサーチクエスチョン

• RQ1 SMTモデルは反復的逆翻訳における非教師ありNMTのノイズと誤り伝搬を効果的に低減できるか？
• RQ2 モデルアーキテクチャの変更なしに、SMTとNMTを共同最適化することで相互性能を向上させられるか？
• RQ3 SMTの句テーブルによる後方正則化は、標準の逆翻訳ベースラインと比較して翻訳品質を向上させるか？
• RQ4 SMTを後方正則化器として統合することで、NMTにおける希少または誤った翻訳パターンの蓄積を緩和できるか？
• RQ5 共同EMフレームワークは、非教師あり設定においてSMTとNMTの段階的改善をどの程度可能にするか？

主な発見

• 提案手法は、en-frおよびen-deの非教師あり機械翻訳ベンチマークで、新たな最先端性能を達成した。
• 事例研究では、SMTが頻度の低い誤ったパターンをフィルタリングすることで、NMTの誤訳（例："malade" を "ill-fated" に翻訳）を効果的に是正していることが示された。
• NMTが生成する擬似データのおかげでSMTモデルが向上し、後続のイテレーションでより流暢な出力を得られることが示され、相互改善の兆候が確認された。
• NMTの誤りに起因する重複または一致しないフレーズ（例："plenty of" や "canopy-back business"）の削減が見られた。
• 共同EMフレームワークにより段階的精錬が可能となった：NMTは流暢さを向上させ、SMTはパターンの信頼性を高め、安定した性能向上が達成された。
• SMTのノイズ耐性を句テーブル正則化によって活用することで、逆翻訳における誤り蓄積が効果的に緩和された。