[論文レビュー] Multilingual Alignment of Contextual Word Representations

Steven Cao, Nikita Kitaev+1 more|arXiv (Cornell University)|Feb 10, 2020

Topic Modeling参考文献 29被引用数 152

ひとこと要約

本論文は多言語BERTの文脈的整列手法を導入し、ゼロショットXNLI転送の改善を示し、下流パフォーマンスと相関する文脈的語彙取得指標を提案する。

ABSTRACT

We propose procedures for evaluating and strengthening contextual embedding alignment and show that they are useful in analyzing and improving multilingual BERT. In particular, after our proposed alignment procedure, BERT exhibits significantly improved zero-shot performance on XNLI compared to the base model, remarkably matching pseudo-fully-supervised translate-train models for Bulgarian and Greek. Further, to measure the degree of alignment, we introduce a contextual version of word retrieval and show that it correlates well with downstream zero-shot transfer. Using this word retrieval task, we also analyze BERT and find that it exhibits systematic deficiencies, e.g. worse alignment for open-class parts-of-speech and word pairs written in different scripts, that are corrected by the alignment procedure. These results support contextual alignment as a useful concept for understanding large multilingual pre-trained models.

研究の動機と目的

• 生のゼロショット性能を超えた多言語BERTの理解を動機づける。
• 平行コーパス上の語彙取得タスクを用いて文脈的整列を定義・測定する。
• 平行データを用いた多言語BERT上で動作するファインチューニングベースの整列手法を提案する。
• 整列がゼロショット跨言語転送（XNLI）に与える影響を評価し、ベースラインと比較する。
• POS分類やスクリプトの差異を含む言語的要因が整列に与える影響を分析する。

提案手法

• 平行コーパスと語彙対（word alignments）を用いた文脈的整列の目的を定義する。
• 取得にはCSLSベースの類似度を用いるが、正則化を伴う二乗距離損失を最適化する。
• 非英語の埋め込みを英語に向けて整列させつつ、初期の事前学習値に埋め込みを近づけるよう正則化する。
• 並行Europarlデータを用いて複数言語ペアにまたがる整列を共同訓練する。
• 文を拡張したfastTextを用いたベースラインや回転ベースの文脈的整列法と比較する。
• English MultiNLIでファインチューニングし、Bulgarian, German, Greek, Spanish, Frenchを対象にXNLIでゼロショット転送を評価する。

実験結果

リサーチクエスチョン

• RQ1 文脈的整列は基礎性能を超えて多言語BERTの跨言語転送を改善できるか？
• RQ2 提案手法は回転ベースおよび非文脈的手法とどう比較されるか？
• RQ3 意味のある向上を達成するにはどの程度のデータ効率（平行データ量）が必要か？
• RQ4 整列品質に影響を与える言語的要因（品詞、語彙の重複、スクリプトの差異）は何か？

主な発見

英語	ブルガリア語	ドイツ語	ギリシャ語	スペイン語	フランス語	平均
81.9	73.6	75.9	71.6	77.8	76.8	76.3
81.1	68.9	71.2	66.7	74.9	73.5	72.7
78.8	69.0	71.3	67.1	74.3	73.0	72.2
80.1	73.4	73.1	71.4	75.5	74.5	74.7
85.0	77.4	77.8	76.6	78.9	78.7	79.1

• 文脈的整列は言語を横断したXNLIのゼロショット正確さを大幅に改善し、少なくとも1%の向上を、ブルガリア語とギリシャ語ではより大きな効果をもたらす。
• 平行データで整列すると、ベースモデルに対する平均ゼロショット改善は2.78%となり、ブルガリア語とギリシャ語のtranslate-trainの ceilingsに近づく。
• ファインチューニングされた文脈的整列は、fastTextベースおよび回転ベースのベースラインを上回り、整列における文脈の価値を強調する。
• 整列は下流の転送と強く相関し、文脈的語彙取得を跨言語性能の予測評価指標として妥当であることを検証する。
• 整列は体系的な欠陥を緩和し、特にオープンクラス vs クローズドクラスの品詞整列を改善し、異なるスクリプト間の語の対を扱う能力を向上させる。
• 言語ペアあたり50K平行文で多くの利得を達成し、10K文でも改善を生むことが示され、データ効率の高さを強調する。