[論文レビュー] Continual Learning in Deep Neural Network by Using a Kalman Optimiser

Honglin Li, Shirin Enshaeifar+2 more|arXiv (Cornell University)|May 20, 2019

Anomaly Detection Techniques and Applications参考文献 21被引用数 6

ひとこと要約

本稿では、深層ニューラルネットワークにおける継続的学習のためのカルマン最適化手法を提案する。ネットワークパラメータを長期記憶（LTM）と短期記憶（STM）のユニットに分割することで、深刻な忘却を軽減する。勾配からの不確実性推定を活用し、過去に学習した知識を保持しながら新しいタスクに適応する。MNIST、CIFAR10、CIFAR100の順序付きタスクにおいて、高い精度保持性を達成する。

ABSTRACT

Learning and adapting to new distributions or learning new tasks sequentially without forgetting the previously learned knowledge is a challenging phenomenon in continual learning models. Most of the conventional deep learning models are not capable of learning new tasks sequentially in one model without forgetting the previously learned ones. We address this issue by using a Kalman Optimiser. The Kalman Optimiser divides the neural network into two parts: the long-term and short-term memory units. The long-term memory unit is used to remember the learned tasks and the short-term memory unit is to adapt to the new task. We have evaluated our method on MNIST, CIFAR10, CIFAR100 datasets and compare our results with state-of-the-art baseline models. The results show that our approach enables the model to continually learn and adapt to the new changes without forgetting the previously learned tasks.

研究の動機と目的

• 新しいデータに対して学習を繰り返す際、以前に学習したタスクの性能が低下する継続的学習における深刻な忘却を解消すること。
• すべてのタスクを同時に学習するか、再訓練を必要とする標準的なディープラーニングモデルの限界を克服すること。
• 過去のタスクからの知識を保持しながら、古いデータを保存せずに新しいタスクに効率的に適応できる最適化手法を開発すること。
• 不確実性推定を学習プロセスに統合し、パラメータ更新をガイドすることで、順次学習における安定性を向上させること。
• タスク固有の重要度と不確実性に基づいて、動的にパラメータ更新を制御するカルマンフィルタの原理を応用した新規最適化手法を提案すること。

提案手法

• ニューラルネットワークを長期記憶（LTM）ユニットと短期記憶（STM）ユニットに分割し、LTMは学習済みの知識を保持し、STMは新しいタスクに適応する。
• 勾配に基づく不確実性推定を用い、過去に学習したタスクに最も重要であるとされるパラメータを特定し、それらをLTMに割り当てる。
• カルマンフィルタの更新則を適用し、LTMパラメータは忘却を防ぐために制御された、慎重な調整を加えて更新する。
• 各タスクのパラメータ不確実性の累積推定値を維持し、現在のタスクに関連するパラメータの不確実性のみを更新する。
• 現在のタスクのクラスにのみ損失を計算するマルチヘッド損失機構を実装し、干渉を避けて効率的な順次学習を可能にする。
• カルマン更新手順を用いて、学習速度と安定性のバランスを図り、STMパラメータは迅速に適応可能にしながらも、LTMパラメータは安定を保つ。

実験結果

リサーチクエスチョン

• RQ1 カルマンフィルタに基づく最適化手法は、継続的学習のシナリオにおいて深刻な忘却を効果的に低減できるか？
• RQ2 パラメータを長期記憶と短期記憶ユニットに分離することで、順次タスク間での知識保持がどのように向上するか？
• RQ3 勾配からの不確実性推定が、パラメータの安定性を向上させ、過去のタスクでの性能低下を防ぐ程度はどの程度か？
• RQ4 MNIST、CIFAR10、CIFAR100といった標準ベンチマークにおいて、提案手法は最先端の継続的学習ベースラインと比較してどの程度優れているか？
• RQ5 過去のデータを保存せずに、新しいタスクを学習しながらも、すべてのタスクの平均精度を高い水準に維持できるか？

主な発見

• 分割MNIST実験では、5つのタスクすべての学習後でも、カルマン最適化手法が以前に学習したタスクでほぼ完璧な精度（1.0に近い）を維持する。
• 分割CIFAR10実験では、提案手法が徐々に増加する正解率（すべての過去タスクの平均性能）を達成する一方、ベースラインモデルの性能は低下する。
• 10クラスのサブセットに分割されたCIFAR100では、カルマン最適化手法を用いたモデルが、初期タスクの性能を保持しており、タスクシフトやクラス不均衡に対しても頑健であることが示された。
• 提案手法では、すべてのタスクの平均精度が高く、時間の経過とともに上昇し、性能の崩壊を伴わない効果的な継続的学習が実現されている。
• 特にクラス分布が重複しないシナリオにおいて、標準的な学習法やベースラインモデルと比較して、忘却が顕著に低減されている。
• 不確実性に基づくパラメータグループ化とカルマン更新メカニズムにより、深刻な忘却を引き起こす大規模なパラメータシフトが効果的に抑制された。