[論文レビュー] SOLA: Continual Learning with Second-Order Loss Approximation.

Dong Yin, Mehrdad Farajtabar+1 more|arXiv (Cornell University)|Jun 19, 2020

Domain Adaptation and Few-Shot Learning参考文献 58被引用数 14

ひとこと要約

本稿では、原始データや勾配を保存せずに、過去のタスク損失関数の2次テイラー近似を用いることで、継続的学習における深刻な忘却を軽減するSOLAという手法を提案する。損失関数の形状を近似することで、SOLAはプライバシーを保護しつつ、標準ベンチマークにおいて複数のベースラインを上回る性能を発揮する有効な逐次学習を可能にする。

ABSTRACT

Neural networks have achieved remarkable success in many cognitive tasks. However, when they are trained sequentially on multiple tasks without access to old data, it is observed that their performance on old tasks tend to drop significantly after the model is trained on new tasks. Continual learning aims to tackle this problem often referred to as catastrophic forgetting and to ensure sequential learning capability. We study continual learning from the perspective of loss landscapes and propose to construct a second-order Taylor approximation of the loss functions in previous tasks. Our proposed method does not require any memorization of raw data or their gradients, and therefore, offers better privacy protection. We theoretically analyze our algorithm from an optimization viewpoint and provide a sufficient and worst-case necessary condition for the gradient updates on the approximate loss function to be descent directions for the true loss function. Experiments on multiple continual learning benchmarks suggest that our method is effective in avoiding catastrophic forgetting and in many scenarios, outperforms several baseline algorithms that do not explicitly store the data samples.

研究の動機と目的

• 新しいタスクの学習によって過去のタスクの性能が低下する継続的学習における深刻な忘却を解消すること。
• 原始データや勾配を保存しないことで、深刻な忘却を回避し、プライバシーを向上させること。
• 損失関数の形状近似を用いて、提案手法の最適化特性を理論的に分析すること。
• 近似損失関数における勾配更新が真の損失関数に対して下降方向となる十分かつ最悪ケースで必要な条件を提供すること。
• 提案手法の有効性を複数の継続的学習ベンチマークで実験的に検証すること。

提案手法

• 本手法は、現在のモデル重みの周囲で、過去のタスクの損失関数の2次テイラー展開を構築する。
• ヘッセ行列の情報を利用して、過去のタスク損失の曲率を近似し、モデルが以前のタスクの最適化形状を「記憶」できるようにする。
• 近似された曲率情報を、新しいタスクの学習中に正則化項として用い、過去のタスクの性能を損なうような大きな更新を避ける。
• 本手法は、原始データのサンプルやその勾配を保存する必要がないため、データプライバシーの保護が向上する。
• 理論的分析により、ある条件下で、近似損失関数における勾配更新が真の損失関数に対して下降方向であることが保証される。
• 本手法は、新しいタスクの学習中に、現在のタスク損失と近似された過去のタスク損失を組み合わせることで適用される。

実験結果

リサーチクエスチョン

• RQ1 過去のタスク損失関数の2次近似は、継続的学習における深刻な忘却を効果的に防止できるか？
• RQ2 本手法は、原始データや勾配を保存せずに、過去のタスクの性能を維持できるか？
• RQ3 近似損失関数における勾配更新が、真の損失関数に対して下降方向となる条件は何か？
• RQ4 本手法は、既存の継続的学習ベースラインと比較して、精度と忘却の低減において優れているか？
• RQ5 本手法は、データの記憶なしに、多様な継続的学習ベンチマークで優れた性能を達成できるか？

主な発見

• SOLAは、複数の継続的学習ベンチマークで深刻な忘却を効果的に軽減し、過去のタスクにおける強力な一般化性能を示している。
• 原始データを明示的に保存しない複数のベースラインアルゴリズムと比較して、特にタスクの類似度が高い状況で優れた性能を発揮している。
• 理論的分析により、十分かつ最悪ケースで必要な条件下で、近似損失関数における勾配更新が真の損失関数に対して下降方向であることが確認された。
• データ保存を回避することで、リプレイや勾配保存に依存する手法と比較して、より優れたプライバシー保護が実現されている。
• 実験的結果から、2次近似が重要な曲率情報を捉えていることが示され、より安定的かつ効果的な継続的学習が可能であることがわかった。
• 標準ベンチマークにおいて、SOTA（最先端）の継続的学習手法と比較して、同等または優れた性能を達成している。