[論文レビュー] Curriculum learning for language modeling

Daniel Campos|arXiv (Cornell University)|Aug 4, 2021

Topic Modeling参考文献 19被引用数 13

ひとこと要約

本稿は、ELMoを用いた言語モデル事前学習におけるcurriculum learning (CL) を、Wikitext-2およびWikitext-103で検討する。文脈的に意味のあるcurriculum（例えば、unigram、trigram、品詞の難易度ヒューリスティクス）を能力基準curriculum (CBC) を用いて適用する。広範な実験にもかかわらず、事前学習のperplexity や下流のGLUE性能に一貫した向上は見られず、むしろランダムなcurriculumが構造的なものと同等、あるいはそれ以上の効果を示すこともあり、この文脈ではCLの恩恵が限定的であると示唆する。

ABSTRACT

Language Models like ELMo and BERT have provided robust representations of natural language, which serve as the language understanding component for a diverse range of downstream tasks.Curriculum learning is a method that employs a structured training regime instead, which has been leveraged in computer vision and machine translation to improve model training speed and model performance. While language models have proven transformational for the natural language processing community, these models have proven expensive, energy-intensive, and challenging to train. In this work, we explore the effect of curriculum learning on language model pretraining using various linguistically motivated curricula and evaluate transfer performance on the GLUE Benchmark. Despite a broad variety of training methodologies and experiments we do not find compelling evidence that curriculum learning methods improve language model training.

研究の動機と目的

• curriculum learningが言語モデルの事前学習効率および性能を向上させるかどうかを評価すること。
• unigram頻度、n-gramの複雑さ、文の長さ、品詞タグといった言語学的根拠に基づくcurriculumが、ELMoの事前学習に与える影響を調査すること。
• 能力基準curriculum (CBC) の訓練方式が、GLUEベンチマークにおける転移学習性能を向上させるかどうかを評価すること。
• 構造的なcurriculumがランダムサンプリングを上回る性能を示すかどうかを特定すること。
• 事前学習のperplexityと下流の転移性能の間の乖離を探索すること。

提案手法

• 著者らは、モデルの能力が時間とともに向上し、現在の能力閾値以下のサンプルのみが使用される能力基準curriculum (CBC) の訓練を実装する。
• 各訓練サンプルには、unigramのレア度、trigramの複雑さ、文の長さ、品詞タグ、依存構文解析の深さといったヒューリスティクスを用いて難易度スコアが割り当てられる。
• モデルは初期能力レベル λ₀ から開始し、各訓練ステップ後に固定値を増加させ、初期段階では簡単な例に限定してデータアクセスを制限する。
• 実験は、固定の訓練時間とハイパーパrameterを用いて、Wikitext-2およびWikitext-103で実施され、curriculum構造の影響を隔離する。
• 転移性能は、SST、MRPC、QNLI、MNLIを含む12のタスクからなるGLUEベンチマークで評価される。
• アブレーションスタディでは、CBCとランダムcurriculum、curriculumなし、およびベースラインの確率的サンプリングを比較する。

実験結果

リサーチクエスチョン

• RQ1 curriculum learningは、Wikitext-2およびWikitext-103データセットにおける言語モデル事前学習性能を向上させるか？
• RQ2 unigram、trigram、品詞タグといった言語学的根拠に基づくcurriculum（例：unigram、trigram、POS）は、ランダムまたは非構造的なサンプリングに比べて、より良い下流の転移性能をもたらすか？
• RQ3 CBCを用いた場合、標準的な訓練と比較して、事前学習のperplexityに測定可能な改善が見られるか？
• RQ4 事前学習目的関数の性能と下流のGLUE性能の間に相関があるか？
• RQ5 ランダムなcurriculum選択が、構造的で言語学的根拠のあるcurriculumと同等、あるいはそれ以上の結果を達成できるか？

主な発見

• どのcurriculum手法に対しても、一貫した事前学習perplexityの向上は観察されず、多くのCBCベースのモデルでは高いかつ不安定なperplexityが見られ、過学習または収束不良を示唆する。
• 事前学習性能が悪くても、CBC手法で訓練されたモデルは下流のGLUEタスクにうまく転移しており、事前学習損失が転移性能の予測因子とはならないことを示している。
• ランダムcurriculumは、MRPC や QNLI などの複数のGLUEタスクで構造的curriculumと同等、あるいはそれ以上の性能を示し、構造的な難易度順序付けが必須であるという仮定に疑問を呈する。
• trigramベースのcurriculumは、Wikitext-103でわずかに優れた全体的な性能を示したが、全タスクにわたる改善はわずかで、統計的に有意ではなかった。
• 品詞（POS）および依存構文解析ベースのcurriculumは一貫性のない挙動を示し、検証perplexityの変動が大きかったため、これらのヒューリスティクスのハイパーパrameterが適切に調整されていない可能性を示唆する。
• 著者らは、特定の言語学的ヒューリスティクス（例：unigram、trigram、長さ）が他のものよりも効果的である証拠を発見できず、構造的curriculumがランダムサンプリングを上回る明確な利点もないことを確認した。