[論文レビュー] Learning Contextualised Cross-lingual Word Embeddings for Extremely Low-Resource Languages Using Parallel Corpora.

Takashi Wada, Tomoharu Iwata+3 more|arXiv (Cornell University)|Oct 27, 2020

Topic Modeling参考文献 55被引用数 4

ひとこと要約

本論文は、少数の平行コーパス（例：数100対の文対）を用いて、共有LSTMベースのエンコーダデコーダモデルを訓練することで、低リソースなクロスリンガル単語埋め込みを提案する。文脈に応じた埋め込みを双方向翻訳と再構成を通じて複数言語間で共同で学習し、語とサブワード表現を統合することで、ヨンニングナ語、シピボ・コニブ語、グリコ語などの絶滅危惧言語における二国語語彙誘導および語の対応付けタスクで最先端の性能を達成する。

ABSTRACT

We propose a new approach for learning contextualised cross-lingual word embeddings based only on a small parallel corpus (e.g. a few hundred sentence pairs). Our method obtains word embeddings via an LSTM-based encoder-decoder model that performs bidirectional translation and reconstruction of the input sentence. Through sharing model parameters among different languages, our model jointly trains the word embeddings in a common multilingual space. We also propose a simple method to combine word and subword embeddings to make use of orthographic similarities across different languages. We base our experiments on real-world data from endangered languages, namely Yongning Na, Shipibo-Konibo and Griko. Our experiments on bilingual lexicon induction and word alignment tasks show that our model outperforms existing methods by a large margin for most language pairs. These results demonstrate that, contrary to common belief, an encoder-decoder translation model is beneficial for learning cross-lingual representations, even in extremely low-resource scenarios.

研究の動機と目的

• 極めてリソースが限られた、絶滅危惧言語のための効果的なクロスリンガル表現を、最小限の平行データで学習する課題に対処すること。
• データ不足に苦しむ既存手法の限界を、共有マルチリンガルアーキテクチャを活用することで克服すること。
• 言語間で語の埋め込みを共同で訓練することで、低リソース環境下でのクロスリンガル転移性能を向上させること。
• 語とサブワード埋め込みを組み合わせることで、言語間の表記的類似性を活用し、表現品質を向上させること。

提案手法

• 少数の平行コーパス上で双方向翻訳と文の再構成を実行するLSTMベースのエンコーダデコーダモデルを訓練する。
• 言語間でモデルパラメータを共有することで、共有マルチリンガル埋め込み空間で語の埋め込みを共同で学習する。
• 翻訳中に意味的・文法的構造を保持するため再構成損失を用い、埋め込み品質を向上させる。
• 学習可能なメカニズムを用いて語レベルとサブワードレベルの埋め込みを統合し、言語間の表記的類似性を活用する。
• モノリンガルデータや外部リソースを一切不要とし、平行文対のみを用いてモデルをエンドツーエンドで訓練する。
• 学習された埋め込みを、二国語語彙誘導や語の対応付けなどの下流タスクに適用する。

実験結果

リサーチクエスチョン

• RQ1 数100対の平行文対を用いて訓練されたエンコーダデコーダモデルは、極めてリソースが限られた環境下でも、文脈に応じたクロスリンガル単語埋め込みを効果的に学習できるか？
• RQ2 言語間でパラメータを共有することで、単語言語または独立した訓練に比べ、クロスリンガル表現の品質が向上するか？
• RQ3 語とサブワード埋め込みの組み合わせは、語形が多様またはリソースが限られた言語において、クロスリンガルタスクのパフォーマンスをどの程度向上させるか？
• RQ4 本手法は、絶滅危惧言語における二国語語彙誘導および語の対応付けにおいて、既存の最先端手法と比較してどのように差をつけるか？

主な発見

• 提案手法は、複数の言語対において、既存手法を大きく上回る性能を二国語語彙誘導および語の対応付けタスクで達成した。
• わずか数100対の平行文対しか使用しない状況でも、極めてリソースが限られたシナリオにおいて強力な性能を示した。
• 双方向翻訳と再構成による共同訓練は、クロスリンガル単語埋め込みの品質を顕著に向上させた。
• 語とサブワード埋め込みの組み合わせにより、特に共通の表記的特徴を持つ言語において、言語間の類似性をよりよく捉えることができた。
• ヨンニングナ語、シピボ・コニブ語、グリコ語を含む、絶滅危惧言語の実世界データにおいて、最先端の結果を達成した。
• 系列から系列へのモデルが、リソースが限られた環境下でのクロスリンガル表現学習に不適切であるという一般的な認識に疑問を呈した。