[論文レビュー] Compositional Morphology for Word Representations and Language Modelling

Jan A. Botha, Phil Blunsom|arXiv (Cornell University)|May 16, 2014

Topic Modeling参考文献 45被引用数 150

ひとこと要約

本稿では、語素ベクトルの加法的組み合わせとして単語を表現する構成的形状認識連続空間言語モデル（CSLM）を提案する。このアプローチにより、語彙的豊富な言語における性能が向上し、ロシア語やチェコ語のような形態論的に複雑な言語において、誤り率が低下し、翻訳性能が最大1.2 BLEUポイント向上する。

ABSTRACT

This paper presents a scalable method for integrating compositional morphological representations into a vector-based probabilistic language model. Our approach is evaluated in the context of log-bilinear language models, rendered suitably efficient for implementation inside a machine translation decoder by factoring the vocabulary. We perform both intrinsic and extrinsic evaluations, presenting results on a range of languages which demonstrate that our model learns morphological representations that both perform well on word similarity tasks and lead to substantial reductions in perplexity. When used for translation into morphologically rich languages with large vocabularies, our models obtain improvements of up to 1.2 BLEU points relative to a baseline system using back-off n-gram models.

研究の動機と目的

• 語彙的豊富な言語における形態的変化に起因するデータスパarsity問題に対処すること。
• 手作業による特徴量に依存せずに、確率的連続空間言語モデル（CSLM）に形態的構造を統合すること。
• 構成的ベクトル表現により、未知語（OOV）の効果的取り扱いを可能とすること。
• 低リソース環境および形態論的に複雑な設定下で、内在的（語の類似性）および外在的（機械翻訳）性能の両方を向上させること。
• 効率的な因子分解およびクラス化技術を用いて、実世界の機械翻訳デコーダーへのスケーラビリティと統合を実証すること。

提案手法

• 各単語を、語幹や接尾語などの語素（または表層形）に対応する要因ベクトルの和として表現する。
• 各単語を可変長の要因列にマッピングする決定的形態素分割関数 μ を使用する。
• 語彙表現を加法的組み合わせとして計算する：r̃_v = Σ_{f∈μ(v)} r_f により、関連する形態の間で統計的強度を共有する。
• 表面形を要因として組み込むことで、非構成的語彙形を保存し、順序不変性を破る。
• 推論の高速化のため、語のクラス化を適用し、エンドツーエンドの機械翻訳デコーダーへの統合を可能にする。
• 効率的なデコーディングのため、正規化確率推定を用いた対数線形言語モデル（LBL）フレームワークでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 構成的形態論的表現は、複数の言語において内在的語の類似性性能を向上させることができるか？
• RQ2 連続空間言語モデルに形態論的構造を統合することで、ベースラインn-gramモデルおよびCSLMモデルと比較して誤り率が低下するか？
• RQ3 形態論的認識言語モデルは、特に形態論的に豊富な言語において、機械翻訳品質をどの程度向上させるか？
• RQ4 学習済み語素ベクトルは、低リソース環境における未知語（OOV）の取り扱いにおいてどの程度効果的か？
• RQ5 提案されたモデルは、性能を損なわせることなく、リアルタイムの機械翻訳デコーダーに効率的に統合可能か？

主な発見

• CLBL++モデルは、英語→ロシア語翻訳において、ベースラインシステム比で最大1.2 BLEUポイントの向上を達成した。英語→チェコ語では1.0ポイント、英語→スペイン語でも同様に向上した。
• 全テスト言語において誤り率が顕著に低下し、特にロシア語やチェコ語のような形態論的に豊富な言語で最も顕著な改善が見られた。
• 複数の言語において、人間の評価との語の類似性相関が向上し、より大きな学習データを用いたより複雑なモデルを上回った。
• 語素ベクトルの加法的合成により、低頻度語や未学習語形の効果的表現が可能となり、特にその恩恵が得られた。
• cdecデコーダーへの正規化CSLMの統合は、語のクラス化のおかげで実現可能かつ効率的であり、リアルタイムデコーディングを可能にした。
• モデルの利点は、形態論的に複雑な言語で最も顕著であったが、ドイツ語における改善は、二言語カバレッジの制限によるものであり、言語モデルの質の問題ではなかった。