[論文レビュー] Multilingual Distributed Representations without Word Alignment

Karl Moritz Hermann, Phil Blunsom|arXiv (Cornell University)|Dec 20, 2013

Topic Modeling参考文献 22被引用数 67

ひとこと要約

この論文は、単語レベルのアライメントを必要とせずに、多言語分散文表現を学習する手法を提案する。文アライメント付き並列コーパスを用いて構成的ベクトルモデル（CVM）で訓練することで、意味的に意味のあるクロスリンガル文埋め込みを学習し、直接の並列データが存在しない言語間でも意味的類似性を捉えることができ、クロスリンガルドキュメント分類において先行する最先端手法を上回る性能を発揮する。

ABSTRACT

Distributed representations of meaning are a natural way to encode covariance relationships between words and phrases in NLP. By overcoming data sparsity problems, as well as providing information about semantic relatedness which is not available in discrete representations, distributed representations have proven useful in many NLP tasks. Recent work has shown how compositional semantic representations can successfully be applied to a number of monolingual applications such as sentiment analysis. At the same time, there has been some initial success in work on learning shared word-level representations across languages. We combine these two approaches by proposing a method for learning distributed representations in a multilingual setup. Our model learns to assign similar embeddings to aligned sentences and dissimilar ones to sentence which are not aligned while not requiring word alignments. We show that our representations are semantically informative and apply them to a cross-lingual document classification task where we outperform the previous state of the art. Further, by employing parallel corpora of multiple language pairs we find that our model learns representations that capture semantic relationships across languages for which no parallel data was used.

研究の動機と目的

• 文レベルの多言語表現を学習することで、単語レベルのアライメントを必要とせずに、モノリンガルな構成的意味モデルとクロスリンガル単語埋め込みを統合すること。
• 単語アライメント付き並列データに依存せずに、言語間で意味的転送を可能にすること。
• 文アライメント付きデータが、直接訓練された言語ペアを超えて一般化可能な意味的に情報豊富なクロスリンガル表現を生成できるかどうかを評価すること。
• ピボット言語（例：英語）を用いて、直接並列データが存在しない言語間（例：フランス語とドイツ語）で意味的類似性を学習できるかどうかを調査すること。

提案手法

• モデルは構成的ベクトルモデル（CVM）を用いて、文をd次元のベクトル空間にマップし、文の意味を単語埋め込みと合成関数から導出する。
• 新しい訓練信号が導入される：並列文ペアに対しては類似した文埋め込みを促進し、非アライメント文ペアに対しては離隔を促進するが、単語アライメントは必要としない。
• モデルは、英語–ドイツ語、英語–フランス語、その他の言語ペアを含む複数の言語ペアからの文アライメント付き並列コーパス上でエンドツーエンドに訓練される。
• BICVM+バージョンは、英語をピボットとして用いて複数の言語ペアを同時に訓練することで、言語間で意味的知識を転送する拡張を実現する。
• 下流タスクにおける学習済み表現の意味的情報量を評価するために、マルチクラス線形分類器（平均化パーセプトロン）が用いられる。
• t-SNE可視化を用いて、直接の並列データが存在しない言語間でも、語の意味的類似性がどのように学習されたかを定性的に評価する。

実験結果

リサーチクエスチョン

• RQ1 単語レベルのアライメントを必要とせずに、複数の言語間で文レベルの分散表現を効果的に学習できるか？
• RQ2 構成的ベクトルモデルが、文アライメント付き並列データのみを用いて、言語間で意味的知識をどれだけ効果的に転送できるか？
• RQ3 ピボット言語（例：英語）を用いることで、直接並列データが存在しない2つの言語（例：フランス語とドイツ語）間で意味的類似性を学習できるか？
• RQ4 複数の言語ペアを同時に訓練することで、多言語文埋め込みの品質と一般化性能が向上するか？

主な発見

• BICVMおよびBICVM+モデルは、クロスリンガルドキュメント分類（CLDC）タスクにおいて、すべての先行研究を上回り、最先端の正確度を達成した。
• CLDCベンチマークにおいて、BICVM+は1,000件の英語文ドキュメントで学習し、ドイツ語でテストした場合に80.1％の正確度を達成し、以前のSOTAを上回った。
• t-SNE可視化により、訓練中に直接ペairedされていないフランス語とドイツ語の語間で意味的類似性が正しく学習されたことが示された。
• 追加の言語ペア（例：英語–フランス語）の訓練データを追加することで、直接並列データが存在しないターゲット言語ペア（例：ドイツ語–フランス語）に対しても性能が向上した。
• 限られた直接の訓練データしか存在しないドイツ語に対しても、強力な性能を示したため、低リソース言語に対しても一般化がうまくいった。
• 単語アライメントの要件がないため、この手法は文書レベルや類似コーパスなど、文アライメント付きデータに限らない分野へもスケーラブルに適用可能である。