[論文レビュー] Incorporating Word and Subword Units in Unsupervised Machine Translation Using Language Model Rescoring

Zihan Liu, Yan Xu+2 more|arXiv (Cornell University)|Aug 16, 2019

Natural Language Processing Techniques参考文献 26被引用数 6

ひとこと要約

この論文は、ドイツ語やチェコ語などの屈曲語に適した、MUSEでアラインされた埋め込みと言語モデルの再スコアリングを用いた、非教師ありニューラル機械翻訳における語レベルとサブワードレベルの表現を統合する手法を提案する。このアプローチにより、並列データなしでWMT'19共有タスクにおいて翻訳品質が10.6 BLEU向上した。主な向上は未知語置換と再スコアリングに起因し、並列データに依存しない。

ABSTRACT

This paper describes CAiRE's submission to the unsupervised machine translation track of the WMT'19 news shared task from German to Czech. We leverage a phrase-based statistical machine translation (PBSMT) model and a pre-trained language model to combine word-level neural machine translation (NMT) and subword-level NMT models without using any parallel data. We propose to solve the morphological richness problem of languages by training byte-pair encoding (BPE) embeddings for German and Czech separately, and they are aligned using MUSE (Conneau et al., 2018). To ensure the fluency and consistency of translations, a rescoring mechanism is proposed that reuses the pre-trained language model to select the translation candidates generated through beam search. Moreover, a series of pre-processing and post-processing approaches are applied to improve the quality of final translations.

研究の動機と目的

• ドイツ語やチェコ語のような屈曲語における非教師あり機械翻訳における未知語（OOV）問題に対処すること。
• 並列データなしで語レベルとサブワードレベルの表現を統合することで、翻訳の滑らかさと一貫性を向上させること。
• フレーズベースSMTとバックトランスレーションを用いて擬似並列データを活用することで、並列コーパスへの依存度を低減すること。
• 事前処理、後処理、および言語モデルベースの再スコアリングにより翻訳品質を向上させること。
• 未知語置換と言語モデル再スコアリングの非教師あり設定における有効性を評価すること。

提案手法

• ドイツ語とチェコ語のそれぞれについて、FastTextを用いて別々の語の埋め込みを学習し、MUSEを用いて共有空間にアラインすることでOOV問題を軽減する。
• ノイズの多い文に対して再構成誤差を最小化するように、ノイズ除去オートエンコーダ言語モデルを訓練し、文レベルの滑らかさを向上させる。
• フレーズベースSMTモデルを用いてバックトランスレーションを行い、擬似並列データを生成し、語レベルおよびサブワードレベルのNMTモデルを微調整する。
• 語レベルNMT出力における未知語トークンを、適切なターゲット言語側の同等物に置き換える未知語置換（UWR）を実装する。
• 微調整された事前学習済みチェコ語言語モデルを用いて、ビームサーチの候補を再スコアリングし、より滑らかで一貫性のある翻訳を選択する。
• 語レベルとサブワードレベルのNMTモデルのアンサンブルを構築し、さらにパッチアップ後処理ステップを適用して改善する。

実験結果

リサーチクエスチョン

• RQ1 語レベルとサブワードレベルの表現を統合することで、屈曲語における非教師あり翻訳性能を向上させることができるか？
• RQ2 ビームサーチの候補からより高品質な翻訳を選び出すために、言語モデルの再スコアリングはどの程度効果的か？
• RQ3 未知語置換は、語レベルの非教師ありNMTにおけるOOV問題をどの程度軽減できるか？
• RQ4 MUSEでアラインされた多言語埋め込みは、非教師ありNMTにおける初期化と性能向上に寄与するか？
• RQ5 事前処理、後処理、および再スコアリングの組み合わせにより、並列データなしでBLEUスコアを著しく向上させることができるか？

主な発見

• ベースライン設定において、サブワードレベルのNMTモデルは語レベルのモデルを約1.5 BLEUポイント上回った。
• 語レベルNMTモデルに未知語置換を適用することで、BLEUスコアが約2.2ポイント向上し、10.1 BLEUに達した。
• 言語モデル再スコアリングにより、語レベルNMTモデルは0.3 BLEUポイント向上した。UWRと微調整後に再スコアリングを適用した場合、さらなる向上が得られた。
• 最良の語レベルとサブワードレベルのNMTモデルのアンサンブルは、WMT'19テストセットで最高のBLEUスコア10.6を達成した。
• パッチアップ後処理を施したアンサンブルモデルは、BLEUを10.6にわずかに向上させ、TERを0.829から0.833に低下させ、一貫性の向上を示した。
• 最終システムは、大文字小文字を区別する評価で10.2 BLEUを達成し、並列データなしで屈曲的な言語ペアにおいて強力な性能を示した。