[論文レビュー] Learning Multilingual Word Representations using a Bag-of-Words Autoencoder

Stanislas Lauly, Alex Boulanger+1 more|arXiv (Cornell University)|Jan 8, 2014

Topic Modeling参考文献 12被引用数 41

ひとこと要約

この論文では、文レベルの並列データのみを用いて、単語レベルのアライメントを必要とせずに、複数言語間で共有される語の表現を学習する多言語自動エンコーダーを提案する。文の表現から袋（bag） of words 入力を再構築することで、クロスリンガルドキュメント分類において競争力ある性能を達成し、一部の設定では GIZA++ によるアライメントに依存する手法を上回った。

ABSTRACT

Recent work on learning multilingual word representations usually relies on the use of word-level alignements (e.g. infered with the help of GIZA++) between translated sentences, in order to align the word embeddings in different languages. In this workshop paper, we investigate an autoencoder model for learning multilingual word representations that does without such word-level alignements. The autoencoder is trained to reconstruct the bag-of-word representation of given sentence from an encoded representation extracted from its translation. We evaluate our approach on a multilingual document classification task, where labeled data is available only for one language (e.g. English) while classification must be performed in a different language (e.g. French). In our experiments, we observe that our method compares favorably with a previously proposed method that exploits word-level alignments to learn word representations.

研究の動機と目的

• 並列文間の単語レベルのアライメントに依存せずに、多言語語彙表現を学習すること。
• 文レベルの並列データのみで、効果的なクロスリンガル表現が得られるかどうかを調査すること。
• 訓練データが1つの言語で提供されるが、テストは別の言語で実施されるクロスリンガルドキュメント分類タスクにおいて、手法を評価すること。
• 提案された自動エンコーダーに基づく手法と、単語レベルのアライメントに依存する最先端手法との性能を比較すること。
• 共通の埋め込み空間内において、異言語間で類似する語が意味的に類似したベクトル表現にマッピングされるかどうかを評価すること。

提案手法

• モデルは、語の順序を無視し、各語を固定された語彙内でのインデックスとして扱う、文の袋（bag） of words 表現を入力として使用する。
• 語表現は行列 W の列ベクトルとして学習され、文の表現は袋（bag） of words 内のすべての語の埋め込みの和として構成される。
• 非線形デコーダーは、文の表現が与えられたもとで、語の確率分布を予測することで、元の袋（bag） of words を再構築するように訓練される。
• 大規模語彙に対応するため、出力層の確率的木構造分解を用い、階層的ソフトマックスを介して語の確率を効率的に計算可能にする。
• 多言語設定では、自動エンコーダーが並列文ペア上で訓練され、言語間で同じ語埋め込み行列を共有することで、クロスリンガルアライメントを促進する。
• モデルはエンドツーエンドで負の対数尤度損失を用いて訓練され、検証セットに基づく早期停止が適用される。

実験結果

リサーチクエスチョン

• RQ1 並列文間の単語レベルのアライメントがなくても、意味的な多言語語彙表現を学習できるか？
• RQ2 提案された自動エンコーダーに基づく手法と、単語レベルのアライメントに依存する手法との間で、多言語表現学習における性能にどのような差があるか？
• RQ3 共通の埋め込み空間内において、異言語間で類似する語がどの程度類似したベクトル表現にマッピングされるか？
• RQ4 訓練が1つの言語で、テストが別の言語で実施されるクロスリンガルドキュメント分類タスクにおいて、学習された表現がどの程度一般化可能か？
• RQ5 デコーダーで階層的ソフトマックスが使用されることで、多言語設定において袋（bag） of words 入力の効率的かつ効果的な再構築が可能になるか？

主な発見

• 提案された自動エンコーダー手法は、英語→フランス語ドキュメント分類タスクで27.7%のテスト誤差を達成し、Klementiev らのベースライン手法（34.9%誤差）を上回った。
• 英語→ドイツ語タスクでは、提案手法が29.8%誤差を記録したのに対し、ベースライン手法は42.7%誤差であった。
• t-SNE 視覚化により、意味的に類似する語（例：'france' と 'france'）が共通埋め込み空間内で近接する点にマッピングされていることが確認された。
• フランス語語の近隣語として、英語埋め込み空間内ではしばしば意味的に関連する語や語族語（語族語）が現れ、効果的なクロスリンガルアライメントが実現していることが示された。
• 単語レベルのアライメントを一切使用しないにもかかわらず、競争力ある性能を達成した。これは、文レベルの並列データのみで効果的な多言語表現学習が可能であることを示唆している。
• 結果から、自動エンコーダーが言語間で意味的・構文的類似性を保持する共有表現を効果的に学習していることが示された。