[論文レビュー] Multilingual Neural Machine Translation With Soft Decoupled Encoding

Xinyi Wang, Hieu Pham+2 more|arXiv (Cornell University)|Feb 9, 2019

Natural Language Processing Techniques参考文献 10被引用数 43

ひとこと要約

この論文はSoft Decoupled Encoding (SDE) を紹介します。これは、単語の綴りを文字 n-gram で、共有意味を潜在空間で別々にモデル化する多言語語彙表現であり、サブワード分割なしで4つの低リソース言語ペアにおいて最先端の結果を達成します。

ABSTRACT

Multilingual training of neural machine translation (NMT) systems has led to impressive accuracy improvements on low-resource languages. However, there are still significant challenges in efficiently learning word representations in the face of paucity of data. In this paper, we propose Soft Decoupled Encoding (SDE), a multilingual lexicon encoding framework specifically designed to share lexical-level information intelligently without requiring heuristic preprocessing such as pre-segmenting the data. SDE represents a word by its spelling through a character encoding, and its semantic meaning through a latent embedding space shared by all languages. Experiments on a standard dataset of four low-resource languages show consistent improvements over strong multilingual NMT baselines, with gains of up to 2 BLEU on one of the tested languages, achieving the new state-of-the-art on all four language pairs.

研究の動機と目的

• 多言語NMTにおけるデータのスパース性を低-resource言語の語彙表現を改善することによって緩和する。
• Aggressive subword segmentationを避けつつ、語彙情報の跨言語共有を可能にする。
• 2要素の語彙表現を提案する：綴りは文字 n-gram、言語に依存しない意味表現は共有潜在空間。
• SDE がTEDデータ上で強力な多言語ベースラインや従来の潜在埋め込み法を上回ることを示す。

提案手法

• 言語間で共有される文字 n-gram に基づく語彙埋め込みを用いて語を表現する。
• 言語特有の変換を適用して言語間の綴りを揃える。
• 言語特有の綴りから共有意味空間へアテンションを介して潜在的意味埋め込みを計算し、残差結合によってSDE埋め込みを形成する。
• サブワード前処理なしの標準的な seq2seq NMT フレームワーク内で訓練する。
• SDE を、語彙ベース、サブワードベースのベースラインおよびGu et al. (2018) の潜在埋め込み法とマルチ言語設定で比較する。

実験結果

リサーチクエスチョン

• RQ1 柔らかい綴りと意味の分離が、多言語NMTにおけるクロスリンガル転移を改善できるか。
• RQ2 サブワード分割を避けつつ、潜在意味空間を共有することで低-resource言語の翻訳品質は向上するか。
• RQ3 SDE は複数の言語ペアで強力なサブワード・潜在埋め込みベースラインと比較してどの程度効果的か。
• RQ4 SDE の各構成要素（語彙埋め込み、言語特有変換、潜在意味埋め込み）が翻訳品質に与える影響はどの程度か。

主な発見

語彙単位	モデル	aze	bel	glg	slk
語	参照	7.66	13.03	28.65	25.24
サブジョイント	参照	9.40	11.72	22.67	24.97
サブセプ	参照 (Neubig & Hu, 2018)	10.90	16.17	28.10	28.50
サブセプ	UniEnc (Gu et al., 2018)	4.80	8.13	14.58	12.09
語	SDE	11.82	18.71	30.30	28.77

• SDE は4つの低リソース言語ペアで強力なベースラインを上回り、少なくとも1言語で最大2 BLEUポイントの改善を達成。
• SDE はサブワード分割を回避しつつ、テストされた全言語ペアで最先端の結果を達成。
• アブレーションにより3つの構成要素（語彙埋め込み、潜在意味埋め込み、言語特有変換）のすべてが利得に寄与し、潜在意味と語彙埋め込みが特に重要であることが示された。
• 高リソース言語を4つすべて用いた訓練は、双言語訓練と比較していくつかの低-resource言語（例：bel）で性能を向上させる。
• SDE のサブワードベース variante は、SDE による語彙レベルの単位を用いる方が翻訳品質に有利である点を示しており、クリーンな分割なし共有の利点を強調している。