[論文レビュー] Regularization Shortcomings for Continual Learning

Timothée Lesort, Andrei Stoian+1 more|arXiv (Cornell University)|Dec 6, 2019

Domain Adaptation and Few-Shot Learning参考文献 32被引用数 20

ひとこと要約

この論文は、推論時にタスクラベルが利用できないクラスインクリメンタルな状況において、正則化に基づく継続的学習手法がタスク間のクラス識別を学習できないことを示している。理論的および実験的分析により、正則化はタスク間の特徴を分離できず、重みが保護されていなくても、崩壊的忘却と一般化性能の低下を引き起こすことが明らかになった。

ABSTRACT

In most machine learning algorithms, training data is assumed to be independent and identically distributed (iid). When it is not the case, the algorithm's performances are challenged, leading to the famous phenomenon of catastrophic forgetting. Algorithms dealing with it are gathered in the Continual Learning research field. In this paper, we study the regularization based approaches to continual learning and show that those approaches can not learn to discriminate classes from different tasks in an elemental continual benchmark: the class-incremental scenario. We make theoretical reasoning to prove this shortcoming and illustrate it with examples and experiments. Moreover, we show that it can have some important consequences on continual multi-tasks reinforcement learning or in pre-trained models used for continual learning. We believe that highlighting and understanding the shortcomings of regularization strategies will help us to use them more efficiently.

研究の動機と目的

• 正則化に基づく継続的学習のクラスインクリメンタルな状況における限界を調査すること。
• 理論的および実験的に、正則化が異なるタスクのクラスを区別できないことを示すこと。
• 推論時にタスクラベルが存在しないことが、正則化戦略の有効性を損なう理由を明らかにすること。
• マルチタスク強化学習および事前学習モデルへの分析を拡張し、広範な意味を持つことを強調すること。
• タスク間の特徴の分離は、崩壊的忘却そのもの以上の根本的課題であると主張すること。

提案手法

• 訓練時のみタスクラベルが利用可能なクラスインクリメンタルな継続的学習の設定を形式化すること。
• 正則化手法を理論的視点から分析し、正則化項がタスク間で不変であることに焦点を当てる。
• t-SNE可視化を用いて、さまざまな継続的学習戦略（正則化対リハーより）の特徴空間における分離度を比較すること。
• 理論的主張の妥当性を検証するためにMNIST-Fellowshipベンチマーク上で実験を実施すること。
• 一クラスタスク、マルチタスク強化学習、事前学習モデルへの分析を拡張し、一般化を図ること。
• 正則化とリハーサルベース手法を比較し、特徴空間における分離度の違いを強調すること。

実験結果

リサーチクエスチョン

• RQ1 推論時にタスクラベルが利用できない状況下で、正則化に基づく継続的学習手法は、異なるタスクのクラスを区別できるか？
• RQ2 正則化がタスク間識別を可能にしない背後にある理論的根拠は何か？
• RQ3 推論時におけるタスクラベルの欠如が、正則化戦略の性能にどのように影響するか？
• RQ4 1クラスタスクやマルチタスク強化学習の状況では、正則化手法がどれほど失敗するか？
• RQ5 初期データや正則化項がなければ、事前学習モデルを正則化で効果的にファインチューニングできるか？

主な発見

• 推論時にタスクラベルが存在しないクラスインクリメンタルな状況において、正則化手法はタスク間のクラス識別を学習できない。
• 理論的分析により、正則化項はタスク間の特徴を分離するのに十分なインダクティブバイアスを提供しないことが示された。
• MNIST-Fellowshipにおける実験により、正則化モデルが異なるタスクのクラスを区別しないことが確認された。
• t-SNE可視化により、リハーサルベースの戦略のみが潜在空間において明確に異なるタスクのデータを分離していることが明らかになった。
• 失敗の原因は、崩壊的忘却そのものではなく、過去のタスクに対する適切な特徴選択が不十分であることに起因する。
• 欠陥は、1クラスタスク、マルチタスク強化学習、および事前学習モデルのファインチューニングに対しても拡張され、初期データや正則化項がなければ知識保護ができないことが示された。