[論文レビュー] Triangular Architecture for Rare Language Translation

Shuo Ren, Wenhu Chen+4 more|arXiv (Cornell University)|May 13, 2018

Natural Language Processing Techniques参考文献 24被引用数 16

ひとこと要約

本稿では、一様な双方向EMアルゴリズムを用いて(X,Y)および(Y,Z)の翻訳モデルを共同で訓練することで、希少言語対(X,Z)の低リソースニューラル機械翻訳(NMT)を向上させる、豊富な中間言語Yを活用する三角形アーキテクチャ(TA-NMT)を提案する。この手法は、MultiUNおよびIWSLT2012で翻訳品質を顕著に向上させ、特にバックトランスレーションと組み合わせた場合、低リソース環境下での強力な向上効果を示している。

ABSTRACT

Neural Machine Translation (NMT) performs poor on the low-resource language pair $(X,Z)$, especially when $Z$ is a rare language. By introducing another rich language $Y$, we propose a novel triangular training architecture (TA-NMT) to leverage bilingual data $(Y,Z)$ (may be small) and $(X,Y)$ (can be rich) to improve the translation performance of low-resource pairs. In this triangular architecture, $Z$ is taken as the intermediate latent variable, and translation models of $Z$ are jointly optimized with a unified bidirectional EM algorithm under the goal of maximizing the translation likelihood of $(X,Y)$. Empirical results demonstrate that our method significantly improves the translation quality of rare languages on MultiUN and IWSLT2012 datasets, and achieves even better performance combining back-translation methods.

研究の動機と目的

• 低リソース言語対、特にターゲット言語Zが希少な場合に顕著に劣るニューラル機械翻訳(NMT)の性能を改善すること。
• 豊富リソース対(X,Y)と低リソース対(Y,Z)のバイリンガルデータを活用し、低リソース対(X,Z)の翻訳品質を向上させること。
• EMに基づくアプローチを用いて複数の翻訳モデルを共同最適化する統合的トレーニングフレームワークを開発すること。
• 仮想データ生成と強化学習に類似した報酬信号を通じて、翻訳モデル間の相互改善を可能にすること。

提案手法

• 源X、ターゲットZ、およびYを結ぶ三角形アーキテクチャを構築するため、豊富な中間言語Yを導入し、データおよびモデルレベルの知識移転を可能にする。
• XからYへの翻訳を潜在変数Zを介してモデル化し、X→Yを二段階に分解する：X→ZおよびZ→Yの両方を同時に学習する。
• 四つの翻訳モデルp(z|x)、p(x|z)、p(z|y)、p(y|z)を最適化する統一された双方向EMアルゴリズムを用い、相互に改善を促進する。
• Eステップでは、現在のモデルパラメータを用いて仮想バイリンガルデータを生成し、ログリクアリティ項に基づくタイムステップ報酬を割り当て、強化学習の更新に類似した挙動を再現する。
• バックトランスレーションを補完的技術として活用し、モノリンガルデータを活用することで、さらなる性能向上を実現する。
• EMフレームワークを両方向に適用する：X→YをZ経由で、Y→XもZ経由で行い、対称的なモデル更新を可能にする。

実験結果

リサーチクエスチョン

• RQ1 豊富な中間言語Yを導入することで、低リソース言語対(X,Z)の翻訳パフォーマンスが向上するか？
• RQ2 (X,Y)および(Y,Z)のバイリンガルデータをどのように共同で活用し、(X,Z)の翻訳モデルを向上させられるか？
• RQ3 統一された双方向EMフレームワークは、複数の翻訳モデルを効果的に最適化し、相互改善を可能にするか？
• RQ4 本手法は、バックトランスレーションや知識蒸留といった既存の低リソースNMT技術を上回るか？
• RQ5 バックトランスレーションのようなモノリンガルデータ拡張技術と組み合わせることで、さらに性能向上が達成できるか？

主な発見

• TA-NMTは、希少言語対におけるMultiUNおよびIWSLT2012データセットで翻訳品質に顕著な向上を達成している。
• IWSLT2012の英ヘブライ語翻訳タスクでは、ベースラインのRNNSearch、知識蒸留、バックトランスレーション手法を上回っている。
• 双方向EMフレームワークによる共同最適化により、(X,Z)および(Y,Z)の翻訳モデル間で相互改善が実現している。
• バックトランスレーションと組み合わせることで、さらに顕著な性能向上が得られ、モノリンガルデータ拡張技術と高い相性と相乗効果を示している。
• Eステップのタイムステップ報酬メカニズムは、モデル更新を効果的に誘導しており、高報酬出力は強化され、低品質出力はペナルティが科される。
• (Y,Z)のバイリンガルデータが限られている状況でも本手法は有効であり、低リソース環境下でのロバスト性を示している。