[論文レビュー] Cross-Lingual BERT Transformation for Zero-Shot Dependency Parsing

Yuxuan Wang, Wanxiang Che+3 more|arXiv (Cornell University)|Sep 15, 2019

Topic Modeling参考文献 31被引用数 12

ひとこと要約

本稿では、文脈的単語アライメントから線形変換を学習し、単語埋め込みを共有の意味的空間に投影するデータ効率の良い手法であるCross-Lingual BERT Transformation (CLBT) を提案する。これにより、ゼロショットのクロスリンガル依存解析が可能になる。CLBTは、従来の静的埋め込み手法よりも平均LASで2.91%の絶対的向上を達成し、XLMと同等またはそれを上回る性能を発揮するが、1言語あたり10,000件の並列文書のみを用い、著しく少ない学習時間を要する。

ABSTRACT

This paper investigates the problem of learning cross-lingual representations in a contextual space. We propose Cross-Lingual BERT Transformation (CLBT), a simple and efficient approach to generate cross-lingual contextualized word embeddings based on publicly available pre-trained BERT models (Devlin et al., 2018). In this approach, a linear transformation is learned from contextual word alignments to align the contextualized embeddings independently trained in different languages. We demonstrate the effectiveness of this approach on zero-shot cross-lingual transfer parsing. Experiments show that our embeddings substantially outperform the previous state-of-the-art that uses static embeddings. We further compare our approach with XLM (Lample and Conneau, 2019), a recently proposed cross-lingual language model trained with massive parallel data, and achieve highly competitive results.

研究の動機と目的

• 低リソース環境における文脈的表現の言語間転送の課題に対処すること。
• 多言語BERT埋め込みの共有意味的空間を学習することで、ゼロショットのクロスリンガル依存解析を向上させること。
• エンドツーエンドのクロスリンガル事前学習と比較して、データ効率的かつ計算コストが低い手法を開発すること。
• 文脈に応じた変換により、クロスリンガルアライメント中に語義の違いを保持すること。
• XLMのような大規模なクロスリンガル事前学習モデルの代替として、高速かつオフラインで利用可能な手法を提供すること。

提案手法

• CLBTは、並列コーパスからの文脈的単語アライメントを用いて、線形変換行列を学習し、単語埋め込みを共有の意味的空間にマップする。
• 変換は、異なる言語間のアライメント済み語トークン上で勾配降下法（GD）または特異値分解（SVD）を用いて学習される。
• 異なる言語で事前学習されたBERTモデルの文脈的埋め込みが、学習済み変換を用いて共有空間に投影される。
• この手法は、タイプレベルではなくトークンレベルでのアライメントにより、語義の違いを明示的に保持するように設計されている。
• このアプローチはオフラインで動作し、BERTモデルの再訓練を必要とせず、並列アライメントが存在する任意の言語ペアに適用可能である。
• 変換は推論時に適用され、依存解析器に入力する前に文レベルのBERTエンコーディングに適用される。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの多言語BERT埋め込みの単純な線形変換が、強力なゼロショットクロスリンガル依存解析性能を達成できるか？
• RQ2 CLBTは、XLMのような最先端のクロスリンガルモデルと比較して、性能、データ効率、学習コストの観点でどのように異なるか？
• RQ3 変換が、言語間で語義の違いをどの程度保持しているか？
• RQ4 CLBTの性能は、並列学習データのサイズに対してどの程度感受的か？
• RQ5 CLBTは、最小限のリソースで新しい言語ペアに効果的にスケーリングできるか？

主な発見

• CLBTは、Universal Dependencies v2.2のテストセットで平均LAS 77.85%を達成し、静的埋め込みを用いた従来の最先端手法よりも2.91%の絶対的向上を示した。
• CLBTは、ブルガリア語（bg）、デンマーク語（da）、スウェーデン語（sv）の3言語でXLMを上回り、フランス語（fr）では同等の性能を発揮したが、XLMが0.2～13.1百万件の並列文を使用しているのに対し、CLBTは1言語あたり10,000件の並列文のみを用いた。
• XLMと比較して、はるかに少ない学習データと時間で学習が可能であり、大規模なハードウェア上でも数時間で学習が完了する。
• t-SNEの可視化により、CLBTがクロスリンガルアライメントを向上させるとともに、語義クラスタリングを保持していることが確認された。意味が似た語トークンが異なる言語からも共有空間内で近づいている。
• ほとんどの言語で、5,000件の並列文で性能が頭打ちとなり、ゲルマン語族やラテン語族のような類似した構造の言語では、100件の文でも十分な性能が得られた。
• SVDベースのCLBTバージョンは、GDベースの手法と同等の結果を達成したが、はるかに高速な学習時間を要し、迅速な展開に実用的であることがわかった。