[論文レビュー] Oolong: Investigating What Makes Transfer Learning Hard with Controlled Studies

Zhengxuan Wu, Alex Tamkin+1 more|arXiv (Cornell University)|Feb 24, 2022

Natural Language Processing Techniques被引用数 6

ひとこと要約

この論文は、特定の言語的軸に沿って英語のGLUEタスクを体系的に変換することで、クロスリンガル転移学習における主要要因を分離して研究する制御された実験フレームワーク、Oolongを紹介する。主な発見は、単語埋め込みの整合性が転移の主な障壁であることであり、再初期化またはシャッフルによって性能が著しく低下するが、継続的事前学習を経ても回復しない。一方、構文的シフトは微調整によってある程度回復可能である。

ABSTRACT

When we transfer a pretrained language model to a new language, there are many axes of variation that change at once. To disentangle the impact of different factors like syntactic similarity and vocabulary similarity, we propose a set of controlled transfer studies: we systematically transform the language of the GLUE benchmark, altering one axis of crosslingual variation at a time, and then measure the resulting drops in a pretrained model's downstream performance. We find that models can largely recover from syntactic-style shifts, but cannot recover from vocabulary misalignment and embedding matrix re-initialization, even with continued pretraining on 15 million tokens. %On the other hand, transferring to a dataset with an unaligned vocabulary is extremely hard to recover from in the low-data regime. Moreover, good-quality tokenizers in the transfer language do not make vocabulary alignment easier. Our experiments provide insights into the factors of cross-lingual transfer that researchers should most focus on when designing language transfer scenarios.

研究の動機と目的

• 言語的要因（構文構造、語彙の整合性、トークナイザー品質）がクロスリンガル転移学習に与える個別の影響を分離して測定すること。
• 現実の転移シナリオにおける複数の同時的言語的変化の混同要因を解消するため、GLUEベンチマークを制御的に変換すること。
• 事前学習済み英語モデルを新しい言語に適応する際、どの要因が転移性能を最も深刻に妨げているかを特定すること。
• 限られたターゲット言語データ上で継続的事前学習を実施することで、言語的不一致の悪影響を軽減できるかどうかを評価すること。

提案手法

• 語順、語彙の整合性（埋め込み行列の再初期化またはシャッフルによる）、トークナイザー品質の1つの言語的軸に沿って、GLUEベンチマークタスクを合成的ターゲット言語に体系的に変換する。
• 事前学習済み英語モデルを変換されたt-GLUEデータセット上で微調整し、元の英語GLUEとの性能低下を測定する制御されたパラダイムを採用する。
• 1500万トークン分のt-英語Wikipediaデータ上で継続的マスクed言語モデル学習を実施し、回復可能性を評価する追加実験を実施する。
• RoBERTa、DeBERTa、XLM-Rの3つのモデルを用いて、すべての変換に対して評価することで、特定のアーキテクチャに偏らない一般化を確保する。
• フランス語やオランダ語の言語固有トークナイザーを英語テキストに適用することで、低リソース環境における低品質トークナイゼーションを模擬する。
• 下流のGLUEタスクでの性能を測定し、3つのランダムシードにおける95%信頼区間を報告することで、信頼性を確保する。

実験結果

リサーチクエスチョン

• RQ1 語彙と埋め込みを維持したまま、構文的語順の変化が転移学習性能に与える影響は何か？
• RQ2 語彙埋め込み行列の再初期化またはシャッフルが、下流の転移性能にどの程度悪影響を及えるか？
• RQ3 ターゲット言語で使用されるトークナイザーの品質が、埋め込み品質とは独立して転移性能に顕著な影響を及えるか？
• RQ4 1500万トークン分のターゲット言語データ上で継続的事前学習を実施することで、埋め込み不整合によって引き起こされた性能低下を是正できるか？
• RQ5 これらの要因の影響は、モノリンガルおよびマルチリンガルモデルを含む、さまざまなモデルアーキテクチャにおいてどのように比較されるか？

主な発見

• 構文的語順の摂動は微調整によってほぼ回復可能であり、極端なランダム順序でも性能低下はややしかるべきである。
• 語彙埋め込み行列の再初期化は、低データ環境において著しく深刻で、回復不能な性能低下を引き起こす。1500万トークン分の継続的事前学習を経ても、有意義な回復は見られない。
• 埋め込み行列のシャッフルは再初期化ほど深刻ではないが、依然として元の設定と比較して著しい性能低下を引き起こす。
• 埋め込み不整合が存在する場合、トークナイザー品質の影響は無視できるほど小さい。これは、トークナイザー品質が二次的な要因であることを示している。
• 高品質なトークナイザーを用いても、埋め込み再初期化が性能低下の主因であるため、埋め込み整合性が主なボトルネックである。
• これらの発見は英語に限らず一般化される。非英語のXNLIデータセットでも同様の性能パターンが観察され、言語固有の性質に依存しない結果の堅牢性が確認された。