[論文レビュー] Phylogeny-Inspired Adaptation of Multilingual Models to New Languages

Fahim Faisal, Antonios Anastasopoulos|arXiv (Cornell University)|May 19, 2022

Natural Language Processing Techniques被引用数 6

ひとこと要約

本論文は、系統的関係にある言語のアダプタ間でパラメータを共有することで、多言語間転移を向上させる系統的由来のアダプタフレームワークを提案する。言語系統樹に基づいてアダプタを構造化することで、構文的および意味的タスクにおいて20%以上の相対的パフォーマンス向上を達成した。特に、事前学習時に登場しなかった言語において顕著であり、標準アダプタと同等のパラメータ数を維持している。

ABSTRACT

Large pretrained multilingual models, trained on dozens of languages, have delivered promising results due to cross-lingual learning capabilities on variety of language tasks. Further adapting these models to specific languages, especially ones unseen during pre-training, is an important goal towards expanding the coverage of language technologies. In this study, we show how we can use language phylogenetic information to improve cross-lingual transfer leveraging closely related languages in a structured, linguistically-informed manner. We perform adapter-based training on languages from diverse language families (Germanic, Uralic, Tupian, Uto-Aztecan) and evaluate on both syntactic and semantic tasks, obtaining more than 20% relative performance improvements over strong commonly used baselines, especially on languages unseen during pre-training.

研究の動機と目的

• 低リソースおよび未学習言語における多言語モデルの多言語間転移を改善すること。
• 事前学習中に存在しなかった言語に多言語モデルを適応する際のパフォーマンス制限の課題に対処すること。
• 具体的には、言語系統（系統的関係）を活用して、効率的なアダプタパラメータ共有を誘導すること。
• 構造化された、言語学的知見に基づいたアダプタ共有が、標準的で独立したアダプタ学習を上回ることを示すこと。
• 最小限の追加パラメータで、低言語的表現や先住民言語を含む未発達言語へのカバレッジを拡大すること。

提案手法

• 歴史的言語的関係に基づいて言語の系統樹を構築し、階層的アダプタ共有の定義を行う。
• 系統樹の根に位置するルートアダプタを導入し、言語系統内のすべての関連言語にパラメータを共有する。
• 各ターゲット言語の単語語彙テキスト上でマスク言語モデルの目的関数を用いて、アダプタを同時に学習する。
• アダプタスタックを [root_adapter, language_adapter, task_adapter] として構造化し、関連言語間で共有表現を可能にする。
• ゲルマン語族、ウロ＝アルティック語族、トゥピアン語族、ウトオ＝アズテカ語族など多様な言語系統にこのフレームワークを適用し、構文的および意味的タスクで評価する。
• 公平な比較と計算効率を確保するため、標準アダプタと同等の合計パラメータ数を維持する。

Figure 2: Visualizing three different task results across languages (marker size relative to MLM training data size). In most cases, and especially in languages unseen during pre-training, our hierarchical phylogeny-inspired adapters outperform the baselines.

実験結果

リサーチクエスチョン

• RQ1 アダプタパラメータ共有に言語系統を組み込むことで、ゼロショットおよびフェイシュット多言語転移が向上するか？
• RQ2 系統的関係にある言語間でパラメータを共有することで、独立したアダプタ学習と比較して、未学習言語でのパフォーマンスが向上するか？
• RQ3 階層的系統的構造が、タイプロジカルな距離が異なる多様な言語系統においてパフォーマンスに与える影響は何か？
• RQ4 トレーニング可能なパラメータ数を増加させずに、顕著なパフォーマンス向上を達成できるか？
• RQ5 非常に分岐した言語サブグループ（例：インド・ヨーロッパ語族のゲルマン語、ロマンス語、 Slavic語）間で共有表現を強制すると、全体のパフォーマンスにどのような影響を与えるか？

主な発見

• 系統的由来のアダプタフレームワークは、強力なベースラインと比較して、構文的および意味的タスクで20%以上の相対的パフォーマンス向上を達成した。
• 特に、事前学習時に登場しなかった言語において顕著な向上が見られ、強いゼロショット一般化能力を示した。
• 標準アダプタと同等の合計パラメータ数を維持しているが、構造化された共有により顕著なパフォーマンス向上を達成した。
• 同じ言語系統に属する言語では、階層的アダプタ構造がより効果的なパラメータ利用と高速収束をもたらした。
• 低リソースのウロ＝アルティック語族や先住民アメリカ語族など、多様な言語系統にわたり、本アプローチは頑健性を示した。
• 非常に分岐したインド・ヨーロッパ語族サブグループ（例：ゲルマン語、ロマンス語、スラヴ語）間で共有表現を強制するとパフォーマンスが低下し、広範な系統的共有の限界を示唆した。