[論文レビュー] Natural continual learning: success is a journey, not (just) a destination

Ta-Chu Kao, Kristopher T. Jensen+3 more|arXiv (Cornell University)|Jun 15, 2021

Domain Adaptation and Few-Shot Learning被引用数 9

ひとこと要約

本稿では、自然継続的学習（NCL）を紹介する。NCLは、ベイズ的重み正則化と事後分布の精度行列を用いた信頼領域最適化を統合し、前向き型および再帰型ニューラルネットワークの両方において、深刻な忘却を防ぐための包括的かつ一貫した手法である。NCLは、時間経過に伴うタスク固有のダイナミクスを保持することで、従来の正則化および射影ベースの手法を上回り、生物学的ニューロン回路に類似した挙動を示す。

ABSTRACT

Biological agents are known to learn many different tasks over the course of their lives, and to be able to revisit previous tasks and behaviors with little to no loss in performance. In contrast, artificial agents are prone to 'catastrophic forgetting' whereby performance on previous tasks deteriorates rapidly as new ones are acquired. This shortcoming has recently been addressed using methods that encourage parameters to stay close to those used for previous tasks. This can be done by (i) using specific parameter regularizers that map out suitable destinations in parameter space, or (ii) guiding the optimization journey by projecting gradients into subspaces that do not interfere with previous tasks. However, these methods often exhibit subpar performance in both feedforward and recurrent neural networks, with recurrent networks being of interest to the study of neural dynamics supporting biological continual learning. In this work, we propose Natural Continual Learning (NCL), a new method that unifies weight regularization and projected gradient descent. NCL uses Bayesian weight regularization to encourage good performance on all tasks at convergence and combines this with gradient projection using the prior precision, which prevents catastrophic forgetting during optimization. Our method outperforms both standard weight regularization techniques and projection based approaches when applied to continual learning problems in feedforward and recurrent networks. Finally, the trained networks evolve task-specific dynamics that are strongly preserved as new tasks are learned, similar to experimental findings in biological circuits.

研究の動機と目的

• 継続的学習における深刻な忘却を解消すること。これは、人工エージェントが新しいタスクを学習する際に、以前のタスクの性能が低下する現象である。
• 重み正則化と勾配射影手法を、ベイズ推論に基づく一貫したフレームワークに統合すること。
• 前向き型および再帰型ニューラルネットワークにおける継続的学習のパフォーマンスを向上させること、特に非恒等的タスク設定において有効であることを目指す。
• 人工ネットワークで学習されたニューロンダイナミクスが、生物学的回路で観察されるものと類似しているかどうかを調査すること。
• ハイパーパramータのチューニングに敏感であるか、最適化経路が非効率である既存の継続的学習手法に対する、理論的根拠があり、スケーラブルな代替手法を提供すること。

提案手法

• NCLは、過去のタスクからのパラメータの近似事後分布の最大値に収束するよう、重みのベイズ的正則化を用いる。
• 過去のタスクの事後精度行列を用いて信頼領域を構築し、パラメータの更新を過去に重要な方向の核空間に制限する。
• 逆事後精度行列で勾配を前処理することで、自然勾配降下を実行し、過去のタスクのパフォーマンスに干渉しないように更新を行う。
• このアプローチにより、標準的な正則化と射影ベースの手法が特別なケースとして統合され、NCLはより理論的かつ効果的な変種である。
• 再帰型ネットワークでは、NCLが時間経過に伴いタスク固有の潜在的ダイナミクスを保持し、生物学的ニューロン回路に類似した挙動を示す。
• 現在のタスクの損失と、過去のタスクの事後分布から導出された正則化項を組み合わせた、修正された最適化手順を適用する。

実験結果

リサーチクエスチョン

• RQ1 ベイズ的正則化と信頼領域最適化を統合した包括的フレームワークが、前向き型および再帰型ネットワークの両方で、既存の継続的学習手法を上回る性能を発揮できるか？
• RQ2 NCLで訓練された人工ニューラルネットワークのダイナミクスは、継続的学習中に生物学的ニューロン回路で観察されるものと類似しているか？
• RQ3 事後精度行列を前処理行列として用いることで、標準的な正則化や射影手法よりも安定的かつ効果的な最適化経路が得られるか？
• RQ4 非凸最適化問題において、NCLは局所的最小値に収束する際、ラプラス法や射影勾配法よりも優れた性能を示すか？
• RQ5 NCLは、テスト時に明示的なタスクIDを必要とせずに、以前に学習したタスクの高いパフォーマンスを維持できるか？

主な発見

• NCLは、前向き型および再帰型ニューラルネットワークの両方で、標準的な重み正則化および射影ベースの手法を上回る性能を示した。
• 非凸最適化問題では、NCLがラプラス法や射影勾配法よりも低い結合損失値を達成し、より優れた局所的最小値に収束した。
• NCLで訓練されたネットワークは、時間経過に伴い安定したタスク固有の潜在的ダイナミクスを示し、生物学的ニューロン回路の報告と類似した挙動を示した。
• ネットワーク容量の飽和が生じるタスクの条件下でも、NCLは深刻な忘却を効果的に緩和した。これは、従来のアプローチが失敗する知られている状況である。
• NCLの信頼領域機構は、事後精度から導出されており、ヒューリスティックな射影や正則化手法よりも、より堅牢で理論的根拠のある代替手段を提供する。
• 理論的分析により、過去の射影ベースの手法（例：Dunckerら, 2020; Zengら, 2019）はNCLの信頼領域最適化の近似であることが示され、NCLのより広範な適用可能性が裏付けられた。