[論文レビュー] Unsupervised Cross-lingual Word Embedding by Multilingual Neural Language Models

Takashi Wada, Tomoharu Iwata|arXiv (Cornell University)|Sep 7, 2018

Topic Modeling参考文献 21被引用数 19

ひとこと要約

本稿では、複数言語にわたる双方向LSTMを共有することで、並列データが不要な非教師ありクロスリンガル単語埋め込みを学習する多言語ニューラル言語モデルを提案する。この手法により、並列データが存在しない状況下でも文レベルの構造を統合的に学習可能となり、低リソース設定で最先端の性能を達成するとともに、4言語を共有の意味的空間にマッピングすることに成功し、先行する非教師ありモデルおよびドイツ語-英語対の教師ありベースラインを上回った。

ABSTRACT

We propose an unsupervised method to obtain cross-lingual embeddings without any parallel data or pre-trained word embeddings. The proposed model, which we call multilingual neural language models, takes sentences of multiple languages as an input. The proposed model contains bidirectional LSTMs that perform as forward and backward language models, and these networks are shared among all the languages. The other parameters, i.e. word embeddings and linear transformation between hidden states and outputs, are specific to each language. The shared LSTMs can capture the common sentence structure among all languages. Accordingly, word embeddings of each language are mapped into a common latent space, making it possible to measure the similarity of words across multiple languages. We evaluate the quality of the cross-lingual word embeddings on a word alignment task. Our experiments demonstrate that our model can obtain cross-lingual embeddings of much higher quality than existing unsupervised models when only a small amount of monolingual data (i.e. 50k sentences) are available, or the domains of monolingual data are different across languages.

研究の動機と目的

• 並列データや事前学習済み埋め込みを一切必要としない非教師ありのクロスリンガル単語埋め込みの学習手法を開発すること。
• 単語のモノリンガルデータが限られている、あるいは言語間でドメインが不一致する低リソース設定におけるモデルの頑健性を向上させること。
• 共通の文法的・意味的構造を捉えることで、複数言語にわたる単語埋め込みの統合的学習を可能にすること。
• 例えばフィンランド語と英語のような言語的距離の遠い言語ペア（先行手法が失敗するケース）において、単語の対応付けが可能かどうかを評価すること。
• 英語、フランス語、ドイツ語、スペイン語の4言語を同時に学習することで、四言語単語埋め込みの実現可能性を示すこと。

提案手法

• 全言語にわたって共有される双方向LSTM（前向きおよび後向き）を用いて文レベルの構造を符号化し、クロスリンガルの整合性を実現する。
• 単語埋め込みと出力投影層は言語固有であるが、LSTMパラメータは共有することで構造的共通性を強制する。
• 複数言語のモノリンガル文に対して言語モデル化の目的関数を用いて、エンドツーエンドで訓練する。
• 共有されたLSTMが、異なる言語からの単語を共通の潜在空間にマッピングし、言語を越えた意味的類似度の測定を可能にする。
• <BOS> および <EOS> トークンを共有の埋め込みと線形変換を用いて、文の境界を一貫してモデル化する。
• 事前学習や並列データを一切必要とせず、モノリンガル文レベルの教師信号に依存する。

実験結果

リサーチクエスチョン

• RQ1 並列データや事前学習済み埋め込みを一切必要としない多言語ニューラル言語モデルは、クロスリンガル単語埋め込みを学習可能だろうか？
• RQ2 モノリンガルデータが限られている（例：50k文）低リソース設定下で、モデルの性能はいかがであろうか？
• RQ3 言語的距離が遠く、ドメイン不一致や言語的乖離が顕著な言語ペア（例：フィンランド語-英語）において、モデルは一般化可能だろうか？
• RQ4 1つの非教師ありモデルを用いて、2つ以上の言語を1つの共有意味的空間に統合的に埋め込むことは可能だろうか？
• RQ5 わずかにしか bilingual 辞書が利用できない状況で、モデルの性能は教師ありベースラインと比べてどうなるだろうか？

主な発見

• 50kのモノリンガル文しか利用できない状況下で、本手法は既存のすべての非教師あり手法を上回り、特に低リソース設定で顕著な優位性を示した。
• 350語のバイリンガル辞書ペアしか学習に使わない状況下で、ドイツ語-英語単語対応付けタスクにおいて、教師ありベースラインを上回る結果を得た。
• クロスリンガル対応付けタスクにおいて、ドメイン不一致データを用いたフィンランド語-英語やチェコ語-英語のような遠距離言語ペアにおいて、先行する非教師ありモデルを著しく上回った。
• 英語、フランス語、ドイツ語、スペイン語の4言語を同時に学習した四言語埋め込みは、t-SNE可視化および単語対応付け結果から、同等の語が共有の意味的空間に正しくマッピングされていることが示された。
• 四言語埋め込みのt-SNE可視化では、言語ではなく意味に基づいて明確なクラスタリングが観察され、前置詞、限定詞、文頭語などが言語を越えて意味的クラスタを形成していた。
• ドメインシフトの状況下（異なる言語のモノリンガルデータが異なるソースやトピックから得られる）でも、本モデルは優れた安定性と性能を示した。