[論文レビュー] Fine-tuned Language Models are Continual Learners

Thomas Scialom, Tuhin Chakrabarty+1 more|arXiv (Cornell University)|May 24, 2022

Topic Modeling被引用数 7

ひとこと要約

本稿では、継続的学習を実現するためのファインチューニング済み言語モデルであるContinual-T0 (CT0) を提案する。CT0は、70の多様なNLPタスクにおけるパフォーランスを維持するために1%のリハーサルバッファを用い、8つの新しい言語生成タスクを学習する。モデルはリハーサルなしでも元のT0データセットにおけるほぼ完璧なゼロショットパフォーマンスを維持しており、継続的学習が自己教師あり事前学習から生じるのではなく、インstructチューニングやモデルスケールから生じるわけではないことを示している。

ABSTRACT

Recent work on large language models relies on the intuition that most natural language processing tasks can be described via natural language instructions. Language models trained on these instructions show strong zero-shot performance on several standard datasets. However, these models even though impressive still perform poorly on a wide range of tasks outside of their respective training and evaluation sets. To address this limitation, we argue that a model should be able to keep extending its knowledge and abilities, without forgetting previous skills. In spite of the limited success of Continual Learning we show that Language Models can be continual learners. We empirically investigate the reason for this success and conclude that Continual Learning emerges from self-supervision pre-training. Our resulting model Continual-T0 (CT0) is able to learn diverse new tasks, while still maintaining good performance on previous tasks, spanning remarkably through 70 datasets in total. Finally, we show that CT0 is able to combine instructions in ways it was never trained for, demonstrating some compositionality.

研究の動機と目的

• ファインチューニング済み言語モデルが新しいタスクを学習する際の崩壊的忘却を解決すること。
• インstructチューニングされたモデルが、崩壊的忘却を伴わずに継続的学習者として機能できるかどうかを調査すること。
• 継続的学習の能力が事前学習から生じるのか、それともインstructチューニングやモデルスケールから生じるのかを評価すること。
• 小さなリハーサルバッファ（1%）が、多様な言語生成タスクにわたる効果的な継続的学習を可能にするかどうかを実証すること。
• 継続的に学習されたモデルにおけるインstructの合成性を調査すること。

提案手法

• ベースとしてファインチューニング済みT0モデルを用い、自然言語による指示を用いて50のデータセットで訓練する。
• リハーサルを用いた継続的学習を実装し、過去のタスクデータの1%を保存して、新しいタスクの訓練中に再び再生する。
• ハイク生成、共感的応答生成、制約付きヘッドライン生成を含む、多様な8つの新しい言語生成タスクを順次訓練する。
• 新しいタスクと元のT0ゼロショット評価データセットの両方でパフォーマンスを評価し、後者にはリハーサルを適用しない。
• アブレーションスタディでは、リハーサル有無のモデルを比較し、事前学習、インストラクションチューニング、モデルスケールが継続的学習の成功に与える影響を分析する。
• 推論時に、訓練中に見られなかった異なるタスクの指示を組み合わせることで、合成性をテストする。

実験結果

リサーチクエスチョン

• RQ1 ファインチューニング済み言語モデル（T0など）は、多様な言語生成タスクにわたって、崩壊的忘却を伴わずに継続的学習を実行できるか？
• RQ2 T0の継続的学習能力は、事前学習、インストラクションチューニング、それともモデルスケールに起因するか？
• RQ3 最小限のリハーサルバッファ（1%）が、以前に学習したタスクのパフォーマンスを維持するためにどれほど効果的か？
• RQ4 訓練中に見られなかった組み合わせの指示に一般化できるか？
• RQ5 これらのタスクに対してリハーサルを適用しないにもかかわらず、元のT0評価セットで強力なゼロショットパフォーマンスを維持できるか？

主な発見

• CT0は、これらのタスクに対してリハーサルを適用しないにもかかわらず、すべての元のT0ゼロショット評価データセットでほぼ100%のパフォーマンスを維持しており、強力な知識保持を示している。
• わずか1%のリハーサルバッファを用いることで、CT0は8つの新しい言語生成タスクで高いパフォーマンスを達成し、70のデータセットにおける以前のタスクのパフォーマンスも維持している。
• モデルは組み合わせた指示（例：共感とスタイル制約の組み合わせ）に一般化できており、発生的（emergent）な合成理解を示している。
• アブレーションスタディの結果、継続的学習の成功は主に自己教師あり事前学習に起因しており、インストラクションチューニングやモデルスケールとは無関係であることが判明した。
• モデルはドメイン特化のファインチューニングなしで、COVID-19関連の質問応答のような分布外タスクにも一般化できる。
• 本手法はデータおよび計算的にも効率的であり、完全な再訓練を回避し、ソフトウェアのバージョン管理に類似した段階的モデル更新を可能にする。