[論文レビュー] Continual Learning in the Teacher-Student Setup: Impact of Task Similarity

Sebastian Lee, Sebastian Goldt+1 more|arXiv (Cornell University)|Jul 9, 2021

Domain Adaptation and Few-Shot Learning参考文献 57被引用数 7

ひとこと要約

本稿は、二層ニューラルネットワークを用いた教師-生徒フレームワークを用いて、オンラインSGDにおける一般化誤差のダイナミクスを解析的に導出し、継続的学習における深刻な忘却のメカニズムを調査する。中間的なタスク類似度—特に特徴量とリードアウト重みの類似度—が、最大の忘却を引き起こすことが明らかになった。非単調な忘却曲線と、特徴量とリードアウト類似度の複雑な相互作用が観察された。

ABSTRACT

Continual learning-the ability to learn many tasks in sequence-is critical for artificial learning systems. Yet standard training methods for deep networks often suffer from catastrophic forgetting, where learning new tasks erases knowledge of earlier tasks. While catastrophic forgetting labels the problem, the theoretical reasons for interference between tasks remain unclear. Here, we attempt to narrow this gap between theory and practice by studying continual learning in the teacher-student setup. We extend previous analytical work on two-layer networks in the teacher-student setup to multiple teachers. Using each teacher to represent a different task, we investigate how the relationship between teachers affects the amount of forgetting and transfer exhibited by the student when the task switches. In line with recent work, we find that when tasks depend on similar features, intermediate task similarity leads to greatest forgetting. However, feature similarity is only one way in which tasks may be related. The teacher-student approach allows us to disentangle task similarity at the level of readouts (hidden-to-output weights) and features (input-to-hidden weights). We find a complex interplay between both types of similarity, initial transfer/forgetting rates, maximum transfer/forgetting, and long-term transfer/forgetting. Together, these results help illuminate the diverse factors contributing to catastrophic forgetting.

研究の動機と目的

• 継続的学習における深刻な忘却の理論的メカニズム、特にタスク類似度の役割を理解すること。
• 特徴量類似度（入力-隠れ層重み）とリードアウト類似度（隠れ層-出力層重み）が忘却と転送に与える影響を分離すること。
• 二層ネットワークにおける二つの異なる教師の逐次的学習として継続的学習をモデル化し、一般化誤差のダイナミクスを予測する解析的手法を用いること。
• 初期、最大、長期の忘却と転送が、特徴量とリードアウト類似度の相互作用にどのように依存するかを定量化すること。
• 制御された解析的枠組みを通じて、直感に反する経験的発見（例えば、中間的な類似度が最悪の忘却を引き起こす）を説明すること。

提案手法

• 古典的な教師-生徒モデルを、二つの連続する教師（別々のタスクを表す）を有する継続的学習設定に拡張する。
• 無限大幅の極限において、オンラインSGDを用いたテスト誤差の進化を記述する閉形式の動的方程式セットを導出。これは、従来の標準的教師あり学習に関する先行研究を一般化する。
• タスク類似度を重ね合わせパラメータ α（特徴量類似度：W† と W‡）および Ṽ（リードアウト類似度：v† と v‡）でモデル化する。
• 平均場近似およびODE近似を用いて、一般化誤差、忘却（Fₜ）、および転送（Tₜ）の時間的変化を分析する。
• N=10⁴の入力次元を用いた数値シミュレーションを実施し、理論的予測の妥当性を検証。ODEとシミュレーション結果を比較する。
• 切り替え後の特徴量重みの動きを経験的に追跡し、リードアウト類似度が再学習ダイナミクスに与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 タスク類似度、特に中間的な類似度が、継続的学習における深刻な忘却の程度にどのように影響するか？
• RQ2 特徴量類似度（入力-隠れ層重み）とリードアウト類似度（隠れ層-出力層重み）のどちらが忘却と転送により大きな寄与をしているか？
• RQ3 特徴量とリードアウト類似度の相互作用が非単調な忘却曲線を生じるか？ もしそうなら、その理由は何か？
• RQ4 教師ネットワーク間の重なりに依存する、初期の忘却と転送のダイナミクスはどのように変化するか？
• RQ5 特徴量が同一であっても、リードアウト類似度が最適化軌道にバイアスをかける程度はどの程度か？

主な発見

• 中間的なタスク類似度が、最も高いレベルの深刻な忘却を引き起こす。これは、直感に反する経験的観察を裏付ける。
• 忘却は特徴量類似度 α に対して非単調的であり、中間的な α 値でピークに達し、低類似度および高類似度では減少する。
• リードアウト類似度（Ṽ）は忘却ダイナミクスに顕著な影響を及ぼす：Ṽ が低いほど、切り替え後の特徴量重みの移動が大きくなり、再学習コストが上昇する。
• 特徴量が同一であっても、高いリードアウト類似度は、再学習に要する努力が減少するため、より良い転送をもたらす。これはSGDダイナミクスにおけるバイアスを示している。
• 高水準の特徴量類似度では、長期的な忘却曲線が平坦化し、極端な重なりでは最小限の忘却が観察される。これは、安定な統合を示唆する。
• 理論的ODE予測は、数値シミュレーションとよく一致しており、切り替え後の異なる時間間隔において、解析的枠組みの妥当性が検証された。