[論文レビュー] Cross-lingual Lifelong Learning

Meryem M’hamdi, Xiang Ren+1 more|arXiv (Cornell University)|May 23, 2022

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本稿では、複数の言語を順次学習する文脈における順次的多言語的適応のための新しい評価パラダイムであるクロスリンガル継続的学習（CCL）を提案する。6言語のタスク指向対話ベンチマーク上で、モデル拡張、正則化、メモリリプレイ、蒸留の多様な継続的学習手法をベンチマーク化し、信頼できる評価に不可欠なマルチホップ分析の重要性を示し、モデル拡張とメモリリプレイが言語間で優れた知識保持と一般化を達成することを明らかにした。

ABSTRACT

The longstanding goal of multi-lingual learning has been to develop a universal cross-lingual model that can withstand the changes in multi-lingual data distributions. There has been a large amount of work to adapt such multi-lingual models to unseen target languages. However, the majority of work in this direction focuses on the standard one-hop transfer learning pipeline from source to target languages, whereas in realistic scenarios, new languages can be incorporated at any time in a sequential manner. In this paper, we present a principled Cross-lingual Continual Learning (CCL) evaluation paradigm, where we analyze different categories of approaches used to continually adapt to emerging data from different languages. We provide insights into what makes multilingual sequential learning particularly challenging. To surmount such challenges, we benchmark a representative set of cross-lingual continual learning algorithms and analyze their knowledge preservation, accumulation, and generalization capabilities compared to baselines on carefully curated datastreams. The implications of this analysis include a recipe for how to measure and balance different cross-lingual continual learning desiderata, which go beyond conventional transfer learning.

研究の動機と目的

• モデルが一度にではなく、順次的に新しい言語に適応する多言語NLPにおける継続的学習のギャップを埋める。
• 複数の言語における動的で非定常なデータ分布をモデル化できない従来の転移学習の限界を克服する。
• 多言語継続的学習における知識保持、蓄積、一般化、最終モデルの有用性を測る包括的な評価フレームワークを構築する。
• 複数の言語ホップを経て継続的学習アルゴリズムを体系的にベンチマーク化し、現実世界の順次学習設定におけるその有効性を分離して評価する。
• 標準的な転移学習を超えて、クロスリンガル継続的学習における主要な望ましい特性をバランスさせるレシピを確立する。

提案手法

• 高リソース言語から低リソース言語へ移行する非定常データストリームを模倣するCCL評価パラダイムを設計する。
• 6言語のタスク指向対話ベンチマークを用いて、複数の言語順列における継続的学習アルゴリズムを評価する。
• 4種類の継続的学習技術を適用：モデル拡張（例：アダプタベース）、正則化（例：EWC）、メモリリプレイ（例：ER-6000）、知識蒸留（例：KD-Logit、KD-Rep）。
• 忘却（F）、転送（T）、最終的パフォーマンス（FP）、および言語間でのゼロショット一般化を測る指標を用いてパフォーマンスを測定する。
• ブートストラップサンプリングと複数のシードを用いたTukeyのHSD検定を実施し、結果の妥当性を検証する。
• データセットの構成の違いを変化させた条件下でモデルの挙動を評価し、結論の堅牢性と信頼性を検証する。

実験結果

リサーチクエスチョン

• RQ1 マルチホップ継続的学習（複数言語）は、1ホップ転移学習と比べて、モデルのパフォーマンスと安定性においてどのように異なるか？
• RQ2 新しい言語に適応する中で、以前に学習した言語の知識を最も効果的に保持する継続的学習手法はどれか？
• RQ3 異なる継続的学習手法は、順次学習中に未学習の言語へどの程度一般化できるか？
• RQ4 データストリームの順序やセットアップの違いが、クロスリンガル継続的学習におけるパフォーマンス比較の信頼性にどのように影響するか？
• RQ5 多言語継続的学習において、知識保持、転送、最終的パフォーマンスの相対的影響は、全体的なモデルの有用性にどの程度寄与するか？

主な発見

• モデル拡張とメモリリプレイ（例：ER-6000）は、忘却の最小化と転送の最大化において他の手法を常に上回り、ER-6000は意図分類タスクで93.43％の最終的正答率を達成した。
• 知識蒸留とEWCは中程度のパフォーマンスを示し、EWCは91.86％の最終的正答率を達成したが、忘却度（1.35）はER-6000（0.69）よりも高い。
• Lang-Spec Ada(F) と Lang-Spec Ada(T) はそれぞれ3.54および5.52の高い転送スコアを示し、強力なクロスリンガル知識転送を示唆するが、忘却のトレードオフを伴う。
• 統計的有意性検定により、モデル拡張とメモリリプレイが、特に忘却と最終的パフォーマンスの指標において、最も高い有意差の割合（p < 0.05）を示すことが確認された。
• ブートストラップサンプリングにおける複数シードの使用は、単一シード分析と一貫した結果をもたらし、評価フレームワークの堅牢性を裏付けた。
• 本研究は、マルチホップ分析が不可欠であることを確認した—従来の1ホップ転移学習では、特に長期的な知識保持と一般化の動的変化を捉えることができない。