[論文レビュー] Target Conditioned Sampling: Optimizing Data Selection for Multilingual Neural Machine Translation

Xinyi Wang, Graham Neubig|arXiv (Cornell University)|May 20, 2019

Natural Language Processing Techniques参考文献 21被引用数 4

ひとこと要約

本稿では、低リソース言語のトレーニング損失を最小化するために、ターゲット文の関連性に基づいて条件付きにソース文をサンプリングする、データ選択手法であるTarget Conditioned Sampling (TCS) を提案する。TCSは、多言語ニューラル機械翻訳の最適化を図り、最小限のトレーニングオーバーヘッドで、強力なベースライン比で最大2 BLEUの向上を達成し、低リソース翻訳性能に顕著な改善をもたらす一方で、効率性を維持している。

ABSTRACT

To improve low-resource Neural Machine Translation (NMT) with multilingual corpora, training on the most related high-resource language only is often more effective than using all data available (Neubig and Hu, 2018). However, it is possible that an intelligent data selection strategy can further improve low-resource NMT with data from other auxiliary languages. In this paper, we seek to construct a sampling distribution over all multilingual data, so that it minimizes the training loss of the low-resource language. Based on this formulation, we propose an efficient algorithm, Target Conditioned Sampling (TCS), which first samples a target sentence, and then conditionally samples its source sentence. Experiments show that TCS brings significant gains of up to 2 BLEU on three of four languages we test, with minimal training overhead.

研究の動機と目的

• 多言語並列コーパスを用いて、低リソースニューラル機械翻訳（NMT）を改善する挑戦に取り組むこと。
• NMTパフォーマンスとトレーニング速度の向上を図るために、関連する多言語トレーニングデータを知的に選択するデータ選択戦略を設計すること。
• 多言語データ上での最適なサンプリング分布を構築することで、低リソース言語モデルのトレーニング損失を最小化すること。
• 条件付きソース不変性を活用することで、効率的でターゲットに依存しないサンプリングフレームワークを構築し、一般化性能を向上させること。
• 多様な類似度メトリクスとモデルアーキテクチャを用いて、複数の低リソース言語においてTCSの有効性を評価すること。

提案手法

• TCSは、真のソース-ターゲット分布 P_s(X,Y) を近似するサンプリング分布 Q(X,Y) を構築する。このとき、ターゲット不変性 Q(Y) ≈ P_s(Y) を保証する。
• まず、Q(Y) からターゲット文 y をサンプリングし、次に Q(X|y) から条件付きにソース文 x をサンプリングする。ここで Q(X|y) は、ソース言語とターゲット言語間の類似度に基づいて導出される。
• 言語レベルまたは文レベルの類似度メトリクス（例：LM、語彙オーバーラップ）を用いて Q(X|y) を推定し、多様性を考慮したサンプリング（TCS-S）またはドキュメントレベルの類似度（TCS-D）の選択肢を提供する。
• このフレームワークは、追加の事前学習を必要とせず、標準的なNMTトレーニングパイプラインにスムーズに統合可能である。
• TCSは、標準NMTモデルとソフトデカップリングエンコーディング（SDE）モデルの両方で評価され、アーキテクチャをまたがる一般化能力を検証する。
• TCSは、Q(X,Y) における期待損失が P_s(X,Y) における真の損失と相関する数学的定式化に基づいており、効果的な最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ターゲットの関連性に基づいて多言語データをサンプリングするデータ選択戦略が、高リソース言語データのみを用いる場合を上回り、低リソースニューラル機械翻訳を改善できるか？
• RQ2 低リソース言語モデルのトレーニング損失を最小化しつつ、ターゲット不変性を維持するサンプリング分布 Q(X,Y) をどのように構築できるか？
• RQ3 低リソース環境において Q(X|y) を推定するのに最も効果的な類似度メトリクスは何か？また、それらはパフォーマンスにどのように影響するか？
• RQ4 TCSは、フルデータトレーニングと比較して、翻訳品質を向上させつつもトレーニング効率を維持できるか？
• RQ5 TCSは、ソフトデカップリングエンコーディング（SDE）を用いるような、さまざまな多言語NMTアーキテクチャに一般化できるか？

主な発見

• TCSは、4つの低リソース言語のうち3つ（aze, glg, slk）において、強力なベースライン比で最大2 BLEUの向上を達成した。4番目の言語（bel）では劣化が見られなかった。
• azeでは、語彙レベルの類似度を用いたTCS-Sが12.37 BLEUを達成し、最良のベースライン（11.87 BLEU）をp<0.05の有意水準で上回った。
• belでは、語彙レベルの類似度を用いたTCS-Sが19.83 BLEUを達成し、最良のベースライン（18.03 BLEU）をp<0.05の有意水準で上回った。加えて、トレーニング時間が短縮された。
• SDEモデル設定では、TCSはazeで0.5 BLEU、glgとslkでは最大2 BLEUの向上を達成し、アーキテクチャをまたがる強力な一般化能力を示した。
• TCS-DとTCS-Sは、すべての言語でベースラインを上回った。TCS-Sは、データの多様性が向上したことで、特に優れたパフォーマンスを示した。
• 開発用ペルレクス曲線は、TCSがベースラインと同等またはより速い速度で損失を一貫して低減していることを示しており、効果的で効率的なトレーニングであることが裏付けられた。