[論文レビュー] Can You Tell Me How to Get Past Sesame Street? Sentence-Level Pretraining Beyond Language Modeling

Alex Wang, Jan Hůla+14 more|arXiv (Cornell University)|Dec 28, 2018

Topic Modeling参考文献 62被引用数 10

ひとこと要約

本論文は、言語モデル化を越えた文レベルの事前学習タスクに関する大規模な実験的調査を実施し、GLUEベンチマーク上で19のタスクおよびその組み合わせを評価している。言語モデル化が依然として最も効果的な事前学習目的である一方で、マルチタスク学習や中間的微調整はわずかな向上をもたらすが、一貫性の欠如、深刻な忘却、タスク間の弱い転送性能といった問題を抱えていることが判明した。

ABSTRACT

Natural language understanding has recently seen a surge of progress with the use of sentence encoders like ELMo (Peters et al., 2018a) and BERT (Devlin et al., 2019) which are pretrained on variants of language modeling. We conduct the first large-scale systematic study of candidate pretraining tasks, comparing 19 different tasks both as alternatives and complements to language modeling. Our primary results support the use language modeling, especially when combined with pretraining on additional labeled-data tasks. However, our results are mixed across pretraining tasks and show some concerning trends: In ELMo's pretrain-then-freeze paradigm, random baselines are worryingly strong and results vary strikingly across target tasks. In addition, fine-tuning BERT on an intermediate task often negatively impacts downstream transfer. In a more positive trend, we see modest gains from multitask training, suggesting the development of more sophisticated multitask and transfer learning techniques as an avenue for further research.

研究の動機と目的

• 標準的な言語モデル化を越えて、19種類の異なる事前学習タスクの有効性を体系的に評価すること。
• 言語モデル化に加えて追加の事前学習タスクを組み合わせることで、NLPベンチマークにおける下流タスクへの転送性能が向上するかどうかを調査すること。
• 特に、そのような段階的微調整が転送性を向上させるか、それとも低下させるかを評価すること。
• さまざまな下流タスクが異なる事前学習目的からどのように利益を受けるか、特に相関関係とデータ感受性の観点からパターンを同定すること。
• 現在のマルチタスクおよび転送学習アプローチが文表現学習において抱える限界を明らかにすること。

提案手法

• 19種類の異なる事前学習タスク（言語モデル化に加え、自然言語推論や機械翻訳などの非LMタスクを含む）に対して、標準化されたBiLSTMベースのエンコーダーを事前学習する。
• すべての事前学習タスクにおいて同一のモデルアーキテクチャと学習手順を用いることで、公平な比較を実現し、目的関数の影響を明確に分離する。
• 下流のGLUEタスクに移行する前に、ELMoとBERTを17の段階的タスクで微調整し、段階的学習の最終的パフォーマンスへの影響を評価する。
• GLUEベンチマークの9つのタスクで合計477体のモデルを訓練・評価し、53体の異なる文エンコーダーを用いて統計的妥当性を確保する。
• ターゲットタスク間のパフォーマンス相関を分析し、事前学習およびターゲットタスクのデータ量を変化させた際の学習曲線を測定する。
• 診断用データセットを用いて、モデルの行動を特定の文脈的現象（例：語彙的意味的知識、論理的推論）に対して調査する。

実験結果

リサーチクエスチョン

• RQ1 GLUEベンチマークにおける下流タスクへの転送性能に関して、言語モデル化とは対照的に非言語モデル化タスクで事前学習した場合、どのように比較されるか？
• RQ2 言語モデル化に加えて追加の事前学習タスクを組み合わせることで、多様な下流NLPタスクにおいて一貫した改善が得られるか？
• RQ3 BERT や ELMo を二次的なタスクで中間的微調整することは、下流の GLUE タスクにおけるパフォーマンスを向上させるか、それとも低下させるか？
• RQ4 さまざまな下流タスクが異なる事前学習目的からどれほど利益を受けるか、そしてそれらのパフォーマンス向上の相関関係はどの程度か？
• RQ5 データ量の影響は事前学習および微調整にどのように作用するか？また、中間タスクで微調整されたモデルに、深刻な忘却の兆候が見られるか？

主な発見

• 言語モデル化は依然として最も効果的な単一の事前学習目的であり、GLUEベンチマーク全体で他のすべての個別タスクを上回っている。
• マルチタスク学習は単一タスク学習よりもわずかな改善をもたらすが、個々のタスクの強みを一貫して組み合わせられない。
• BERT を MNLI や QQP のようなタスクで中間的微調整すると、しばしばパフォーマンスが低下し、深刻な忘却や逆転送の兆候があると考えられる。
• 事前学習によるパフォーマンス向上はタスクに強く依存しており、GLUEタスク間でパフォーマンス向上の相関が低く、あるいは負の相関を示すこともあった。
• 学習曲線の分析から、事前学習データ量を増やすことで大多数のタスクでパフォーマンスが向上することが示されたが、ELMo や BERT と組み合わせるとその関係性は弱まる傾向があった。
• 一部のモデルでは、中間タスク用に制限されたデータ（例：MNLI に限られたデータで学習）で訓練したモデルが、完全なデータセットで学習したモデルを上回ることもあり、過学習やデータ感受性の問題が示唆された。