[論文レビュー] A Latent Morphology Model for Open-Vocabulary Neural Machine Translation

Duygu Ataman, Wilker Aziz+1 more|arXiv (Cornell University)|Oct 30, 2019

Natural Language Processing Techniques参考文献 51被引用数 8

ひとこと要約

本稿では、語彙的豊富な言語（アラビア語、チェコ語、ターキッシュ語など）におけるオープンボリューム神経機械翻訳のための潜在的形態素モデル（LMM）を提案する。このモデルは、連続的ベクトルによる語彙的意味と、近似的に離散的な特徴による機能的形態素的構造の2つの潜在的表現を用いて、1文字ずつ単語を生成する。低リソース条件下でも、サブワードおよび文字レベルのベースラインを最大0.82 BLEUポイント上回る、最先端の性能を達成している。

ABSTRACT

Translation into morphologically-rich languages challenges neural machine translation (NMT) models with extremely sparse vocabularies where atomic treatment of surface forms is unrealistic. This problem is typically addressed by either pre-processing words into subword units or performing translation directly at the level of characters. The former is based on word segmentation algorithms optimized using corpus-level statistics with no regard to the translation task. The latter learns directly from translation data but requires rather deep architectures. In this paper, we propose to translate words by modeling word formation through a hierarchical latent variable model which mimics the process of morphological inflection. Our model generates words one character at a time by composing two latent representations: a continuous one, aimed at capturing the lexical semantics, and a set of (approximately) discrete features, aimed at capturing the morphosyntactic function, which are shared among different surface forms. Our model achieves better accuracy in translation into three morphologically-rich languages than conventional open-vocabulary NMT methods, while also demonstrating a better generalization capacity under low to mid-resource settings.

研究の動機と目的

• 語彙的スパarsity問題に取り組む。語彙的豊富な言語における神経機械翻訳では、希少または未学習の語形が性能を制限する。
• サブワードトークン化の限界を克服する。これは言語学的認識を持たず、コーパス統計に依存しており、未学習の形態的変形への一般化が困難である。
• 直接的なサブワードまたは文字レベルの生成ではなく、階層的潜在変数を用いて形態的屈折をモデル化することで、低リソースおよびミドルリソース条件下での一般化を向上させる。
• 同じ語の異なる表層形態に共通する形態的機能的特徴を共有することで、未学習の語形への一般化を向上させる。
• 教師なし潜在変数が、明示的な言語学的教師信号がなくても、形態的機能的情報を効果的に捉えることができることを示す。

提案手法

• 語の生成を階層的プロセスとしてモデル化する：1文字ずつ、連続的語彙的意味ベクトルと近似的に離散的な形態的機能的特徴という2つの潜在的表現に条件づけて生成する。
• 変分オートエンコーダに類似したフレームワークを用いて、入力文脈から語の原型ベクトルと屈折的特徴を同時に推論し、エンドツーエンドの学習を可能にする。
• 語形を、連続的表現（語の原型）と離散的特徴（屈折的機能）の組み合わせとして分解し、異なる表層形態間でこれらの特徴を共有する。
• 平行な単語レベルの文対を用いて最大尤度推定を実行し、入力元文に応じたターゲット系列の対数尤度を最適化する。
• 離散的潜在変数を通過するバックプロパゲーションを可能にするために、微分可能リラクゼーション（例：Gumbel-Softmax）を適用し、両方の表現の共同最適化を可能にする。
• 文字レベルの入出力を備えたアテンション拡張RNNエンコーダ・デコーダアーキテクチャを用い、デコーダーは入力文に注目し、潜在的表現を用いて1ステップずつターゲット文字を生成する。

実験結果

リサーチクエスチョン

• RQ1 教師なしの言語学的教師信号なしで、階層的潜在変数モデルは語彙的豊富な言語における形態的機能的変動を効果的に捉えることができるか？
• RQ2 共通する潜在的特徴を用いて語の生成をモデル化することで、サブワードや文字レベルのベースラインと比較して、希少または未学習の語形への一般化が向上するか？
• RQ3 学習された離散的屈折的特徴が、時制、態態、格、人称などの意味的形態的カテゴリをどの程度正しく捉えているか？
• RQ4 データスパarsityが最も深刻な低リソースおよびミドルリソース設定下で、モデルの性能はどの程度か？
• RQ5 モデルは、効率的なデコードと語彙拡張への耐性を維持しながら、サブワードおよび文字レベルのNMTモデルを上回る翻訳精度を達成できるか？

主な発見

• 低リソース条件下で、語彙的豊富な言語への翻訳において、LMMモデルはサブワードレベルのNMTモデルに対して+0.82 BLEUポイント、文字レベルのモデルに対して+2.54 BLEUポイントの向上を達成した。
• モデルは優れた一般化能力を示した：未学習の語形に対しても、共通する潜在的形態的機能的特徴を活用することで、正しい屈折形を生成した。
• アブレーションスタディーにより、離散的屈折的特徴が不可欠であることが確認された。無効化された場合、モデルは重要な形態的マーカーを欠落させ、誤った表層形を生成した。
• 同じ語の異なる表層形（例：ターキッシュ語における「go」）を、唯一屈折的特徴ベクトルを変化させることで多様に生成できた。これは、これらの特徴が意味的で意味的な形態的差異を正しく表現していることを裏付けた。
• ドメイン固有語彙の増加に伴う語彙サイズの拡大に対しても、高い性能を維持した。文字レベルのモデルはデータスパarsityの影響を強く受けるが、本モデルはその影響を軽減した。
• 定性的分析により、モデルは正式／非公式形、不定形、分詞形などの正しい形態的屈折を生成できることが示された。これは、潜在的特徴が実際の言語的構造を捉えていることを示している。