[論文レビュー] Factored neural machine translation

Mercedes García Martínez|arXiv (Cornell University)|Mar 27, 2018

Natural Language Processing Techniques参考文献 16被引用数 25

ひとこと要約

本稿では、語の意味素（基本形）と文法的要因（語彙的要因）に翻訳語を分解することで、ニューラル機械翻訳（NMT）の性能を向上させる、因子化ニューラル機械翻訳（FNMT）を提案する。文法構造を明示的にモデル化することにより、未知語（OOV）の数を削減し、特にリソースが限られた条件下でも性能を向上させ、標準NMTおよびBPEベースのモデルを上回る。

ABSTRACT

La diversite des langues complexifie la tâche de communication entre les humains a travers les differentes cultures. La traduction automatique est un moyen rapide et peu couteux pour simplifier la communication interculturelle. Recemment, laTraduction Automatique Neuronale (NMT) a atteint des resultats impressionnants. Cette these s'interesse a la Traduction Automatique Neuronale Factorise (FNMT) qui repose sur l'idee d'utiliser la morphologie et la decomposition grammaticale des mots (lemmes et facteurs linguistiques) dans la langue cible. Cette architecture aborde deux defis bien connus auxquelles les systemes NMT font face. Premierement, la limitation de la taille du vocabulaire cible, consequence de la fonction softmax, qui necessite un calcul couteux a la couche de sortie du reseau neuronale, conduisant a un taux eleve de mots inconnus. Deuxiemement, le manque de donnees adequates lorsque nous sommes confrontes a un domaine specifique ou une langue morphologiquement riche. Avec l'architecture FNMT, toutes les inflexions des mots sont prises en compte et un vocabulaire plus grand est modelise tout en gardant un cout de calcul similaire. De plus, de nouveaux mots non rencontres dans les donnees d'entrainement peuvent etre generes. Dans ce travail, j'ai developpe differentes architectures FNMT en utilisant diverses dependances entre les lemmes et les facteurs. En outre, j'ai ameliore la representation de la langue source avec des facteurs. Le modele FNMT est evalue sur differentes langues dont les plus riches morphologiquement. Les modeles a l'etat de l'art, dont certains utilisant le Byte Pair Encoding (BPE) sont compares avec le modele FNMT en utilisant des donnees d'entrainement de petite et de grande taille. Nous avons constate que les modeles utilisant les facteurs sont plus robustes aux conditions d'entrainement avec des faibles ressources. Le FNMT a ete combine avec des unites BPE permettant une amelioration par rapport au modele FNMT entrainer avec des donnees volumineuses. Nous avons experimente avec dfferents domaines et nous avons montre des ameliorations en utilisant les modeles FNMT. De plus, la justesse de la morphologie est mesuree a l'aide d'un ensemble de tests speciaux montrant l'avantage de modeliser explicitement la morphologie de la cible. Notre travail montre les bienfaits de l'applicationde facteurs linguistiques dans le NMT.

研究の動機と目的

• ソフトマックス出力層の制約により、標準NMTが未知語（OOV）の処理に限界を示す問題を解消すること。
• リソースが限られた状況や文法的に複雑な言語の翻訳性能を向上させること。
• 意味素（基本形）と文法的特徴（品詞、性、数、格など）を明示的にモデル化することで、NMTの一般化性能がどのように向上するかを調査すること。
• さまざまな訓練データ量とドメインにおけるFNMTの頑健性を評価すること。
• 専用のテストセットを用いて、文法的正確性を測定し、明示的な文法的要因モデル化の有効性を検証すること。

提案手法

• FNMTモデルは、翻訳語を意味素と要因に分解し、それらを別々の予測ターゲットとして扱う。
• 意味素と文法的要因を並列に予測する、要因に配慮したデコーダーを採用する。
• 品詞、性、数、格などの文法的特徴を追加の入力要因として統合する。
• 大規模データに対して性能をさらに向上させるために、FNMTとバイトペア符号化（BPE）を統合する。
• 出力語彙を要因ごとに分散させることで、計算効率を維持する。
• 意味素と要因の予測ヘッドの両方に対して、クロスエントロピー損失を用いてエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 リソースが限られた訓練条件下で、FNMTは標準NMTおよびBPEベースのモデルと比べてどのように性能を発揮するか？
• RQ2 明示的な文法的要因分解によって、未知語（OOV）の数はどの程度削減されるか？
• RQ3 FNMTは、特に文法的に複雑な言語において、異なるドメインや言語タイプに一般化しやすいか？
• RQ4 FNMTとBPEを統合することで、大規模データセット上での翻訳品質にどのような影響を与えるか？
• RQ5 専用のテストセットを用いて測定した場合、要因モデル化の影響は文法的正確性にどの程度及ぶか？

主な発見

• FNMTモデルは、リソースが限られた訓練状況において、標準NMTおよびBPEベースのモデルを上回る頑健性を示した。
• 文法的屈曲形を明示的にモデル化することで、未知語（OOV）の数を顕著に削減した。
• 文法的に非常に複雑な言語、たとえばトルコ語やフィンランド語において、FNMTはより高い性能を達成した。
• FNMTとBPEを統合することで、大規模な訓練データ上での性能がさらに向上した。
• 専用の文法的テストセットの結果から、FNMTは標準NMTよりも文法的正確性をよりよく保持していることが確認された。
• 多様なドメインにわたる一般化性能が強く示されたため、異なる言語的文脈や応用分野への適応性が裏付けられた。