[論文レビュー] Cross-Lingual Alignment of Contextual Word Embeddings, with Applications to Zero-shot Dependency Parsing

Tal Schuster, Ori Ram+2 more|arXiv (Cornell University)|Feb 25, 2019

Topic Modeling参考文献 56被引用数 11

ひとこと要約

本論文は、単語の文脈に依存しないアンカーベクトルを単語の文脈に依存しない埋め込み空間から抽出することで、文脈依存的単語埋め込みの多言語間アライメントを実現する新規手法を提案する。これらのアンカーベクトルを二語辞書を用いてアライメントし、学習されたマッピングを文脈依存的埋め込みに適用することで、ゼロショットおよびフェイワショット依存解析が効果的に可能となり、6言語にわたる平均で前人最高の手法よりも6.8 LASポイントの向上を達成した。

ABSTRACT

We introduce a novel method for multilingual transfer that utilizes deep contextual embeddings, pretrained in an unsupervised fashion. While contextual embeddings have been shown to yield richer representations of meaning compared to their static counterparts, aligning them poses a challenge due to their dynamic nature. To this end, we construct context-independent variants of the original monolingual spaces and utilize their mapping to derive an alignment for the context-dependent spaces. This mapping readily supports processing of a target language, improving transfer by context-aware embeddings. Our experimental results demonstrate the effectiveness of this approach for zero-shot and few-shot learning of dependency parsing. Specifically, our method consistently outperforms the previous state-of-the-art on 6 tested languages, yielding an improvement of 6.8 LAS points on average.

研究の動機と目的

• 多言語間での動的で文脈依存的な文脈埋め込みのアライメントという課題に取り組む。
• 文脈埋め込みを用いて、リソースが限られた環境下でも効果的なゼロショットおよびフェイワショット依存解析を可能にする。
• 二語辞書の有無にかかわらず機能し、原始的な単語の文脈に依存しないデータが限られている状況でも有効である手法を開発する。
• 文脈に依存しないアンカーベクトルを用いて、複雑で文脈に敏感な埋め込み空間のアライメントの代理として活用することで、転移性能を向上させる。

提案手法

• 文脈埋め込み空間を文脈に依存しないアンカーと文脈に依存する成分に分解することで、アンカー水準でのアライメントを可能にする。
• 文脈に依存しないアンカーベクトルは、線形変換を介して二語辞書を用いてアライメントされ、共同最適化目的関数を通じて学習される。
• 学習されたアンカーマッピングを用いて、文脈依存的埋め込み空間全体をアライメントし、文脈に敏感な表現を保持する。
• アンカーベースの言語モデルを導入し、損失関数にモノリンガルアンカーを共同埋め込み空間内で近づける正則化項を含める。
• 教師あり（辞書ベース）および教師なし（合成辞書）の両設定に対応可能であり、リソースが限られた状況でも頑健性を発揮する。
• ラベル付きデータや品詞タグの必要がないまま、単語の文脈に依存しないテキストと辞書のみに依存して、ターゲット言語への転移を可能にする。

実験結果

リサーチクエスチョン

• RQ1 並列な単語の文脈に依存しない文書が存在しない状況でも、文脈依存的な文脈埋め込みを効果的に多言語間でアライメントできるか？
• RQ2 文脈に依存しないアンカーベクトルを用いることで、リソースが限られた状況での文脈埋め込みのアライメントがどの程度向上するか？
• RQ3 提案手法は、前人最高の手法と比較して、ゼロショットおよびフェイワショット依存解析をどの程度改善するか？
• RQ4 言語モデルにおける正則化の影響は、アライメント品質および下流の依存解析性能にどのような影響を及えるか？
• RQ5 リソースが限られた言語に対しても、品詞タグや大規模な並列コーパスがなくても、本手法は一般化可能か？

主な発見

• 提案手法は、6言語にわたるゼロショット多言語依存解析において、前人最高の手法よりも平均で6.8 LASポイントの向上を達成した。
• 38本のトレーニングツリーしか存在しないカザフスタン語ツリーバンクでは、CoNLL 2018共有タスクの最良結果よりもLASが5.05ポイント向上した。
• ラベルなしのスペイン語データがたった1万文しかない状況でも、正則化を施したアンカーベース言語モデルを用いることで、ベースラインより9 LASポイントの向上を達成した。
• 6言語にわたる平均で、fastText埋め込みよりもLASポイントで3ポイント、UASポイントで3ポイント向上し、文脈に敏感な表現の価値を示した。
• 品詞タグや二語辞書が存在しない状況でも、本モデルは文脈に依存しないモデルを上回る性能を示し、競争力のある性能を発揮した。
• アンカーベクトルの使用により、文脈埋め込みの効果的なアライメントが可能となり、リソースが限られた状況での転移性能が顕著に向上した。