[論文レビュー] A Simple Model for Learning Multilingual Compositional Semantics

Karl Moritz Hermann, Phil Blunsom|arXiv (Cornell University)|Dec 20, 2013

Sentiment Analysis and Opinion Mining被引用数 6

ひとこと要約

本論文では、語の対応付けを必要とせず、平行コーパスを用いて学習することで、意味的に類似した文を複数の言語間で同じベクトル表現にマッピングする、多言語的構成的意味表現モデルを提案する。この手法は、多言語間文書分類において最先端の性能を達成し、訓練データに含まれない言語ペアに対してもゼロショットで意味的関係を一般化できる。

ABSTRACT

Distributed representations of meaning are a natural way to encode covariance relationships between words and phrases in NLP. By overcoming data sparsity problems, as well as providing information about semantic relatedness which is not available in discrete representations, distributed representations have proven useful in many NLP tasks. Recent work has shown how compositional semantic representations can successfully be applied to a number of monolingual applications such as sentiment analysis. At the same time, there has been some initial success in work on learning shared word-level representations across languages. We combine these two approaches by proposing a method for learning distributed representations in a multilingual setup. Our model learns to assign similar embeddings to aligned sentences and dissimilar ones to sentence which are not aligned while not requiring word alignments. We show that our representations are semantically informative and apply them to a cross-lingual document classification task where we outperform the previous state of the art. Further, by employing parallel corpora of multiple language pairs we find that our model learns representations that capture semantic relationships across languages for which no parallel data was used.

研究の動機と目的

• 語レベルの対応付けに依存せずに多言語的構成的意味表現を学ぶ課題に対処すること。
• 複数の言語ペア間で共有される分散表現を学習することで、多言語間の転移性能を向上させること。
• 訓練用の平行コーパスに含まれない言語ペアに対しても、意味的関係のゼロショット転移を可能にすること。
• 平行データ上で学習された分散文埋め込み表現が、意味的な多言語間類似性を的確に捉えることができることを示すこと。

提案手法

• モデルはニューラルネットワークアーキテクチャを用いて、文を共有される多言語埋め込み空間内の密なベクトル表現に変換する。
• 対応する文ペアの埋め込み間の距離を最小化し、非対応ペアの距離を最大化するように学習する。
• 訓練目的には明示的な語の対応付けを必要とせず、平行コーパス内の文レベルの並列性に依存する。
• 言語間で共有されるアーキテクチャ要因を活用することで、埋め込み空間内の意味的一致性を強制する。
• 類似した意味を持つ文（言語間を含む）が同じ埋め込みを持つよう促す対照学習の目的関数を採用する。
• 単語レベルの埋め込みを文レベルのベクトルに統合する構成メカニズムを通じて、最終的な表現を取得する。

実験結果

リサーチクエスチョン

• RQ1 語レベルの対応付けを必要とせずに、多言語的文脈で分散文表現を効果的に学習できるか？
• RQ2 学習された表現は、文書分類のような多言語的タスクにどの程度一般化できるか？
• RQ3 訓練時に見られなかった言語ペアにおいて、モデルがどの程度意味的関係を捉えることができるか？
• RQ4 複数の平行言語ペアで学習させることで、モデルの性能が単一ペアでの学習と比べて向上するか？

主な発見

• 本モデルは、多言語間文書分類において最先端の性能を達成し、従来手法を上回る。
• 特定の言語ペアに対して平行データが存在しなくても、言語間で意味的類似性を的確に捉えた表現が学習される。
• 複数の言語ペアで学習させることで、未学習の言語コンbinationsへの一般化能力が向上する。
• 明示的な語の対応付けを用いずに、意味的に類似した文を複数の言語間で同じベクトル表現にマッピングする能力をモデルが効果的に学習している。