[논문 리뷰] Continual Learning in Deep Neural Network by Using a Kalman Optimiser

Honglin Li, Shirin Enshaeifar외 2명|arXiv (Cornell University)|2019. 05. 20.

Anomaly Detection Techniques and Applications참고 문헌 21인용 수 6

한 줄 요약

이 논문은 깊이 신경망에서 지속적 학습을 위한 칼만 최적화기를 제안하며, 네트워크 파라미터를 장기 기억(長期記憶, LTM)과 단기 기억(短期記憶, STM) 단위로 분할하여 치명적인 잊음( catastrophic forgetting)을 완화한다. 기울기에서 유도된 불확실성 추정을 활용함으로써 기존에 학습한 지식을 유지하면서도 새로운 작업에 적응할 수 있도록 하며, 순차적인 작업에서 MNIST, CIFAR10, CIFAR100에서 높은 정확도 유지 성능을 달성한다.

ABSTRACT

Learning and adapting to new distributions or learning new tasks sequentially without forgetting the previously learned knowledge is a challenging phenomenon in continual learning models. Most of the conventional deep learning models are not capable of learning new tasks sequentially in one model without forgetting the previously learned ones. We address this issue by using a Kalman Optimiser. The Kalman Optimiser divides the neural network into two parts: the long-term and short-term memory units. The long-term memory unit is used to remember the learned tasks and the short-term memory unit is to adapt to the new task. We have evaluated our method on MNIST, CIFAR10, CIFAR100 datasets and compare our results with state-of-the-art baseline models. The results show that our approach enables the model to continually learn and adapt to the new changes without forgetting the previously learned tasks.

연구 동기 및 목표

• 새로운 데이터로 훈련할 때 이전에 학습한 작업에서 성능이 저하되는 지속적 학습에서의 치명적인 잊음을 해결한다.
• 모든 작업을 동시에 훈련하거나 다시 시작해야 하는 표준 딥 러닝 모델의 한계를 극복한다.
• 이전 작업의 지식을 유지하면서도 과거 데이터를 저장하지 않고도 새로운 작업에 효율적으로 적응할 수 있는 최적화 방법을 개발한다.
• 훈련 과정에 불확실성 추정을 통합하여 파라미터 업데이트를 안내하고 순차적 학습에서의 안정성을 향상시킨다.
• 작업별 중요도와 불확실성에 기반해 동적으로 파라미터 업데이트를 제어하는 칼만 필터링 원리를 활용한 새로운 최적화기를 제안한다.

제안 방법

• 신경망을 장기 기억(LTM)과 단기 기억(STM) 단위로 나누며, LTM는 학습된 지식을 유지하고 STM는 새로운 작업에 적응한다.
• 기울기 기반 불확실성 추정을 사용하여 이전에 학습한 작업에 가장 중요한 파라미터를 식별하고 LTM에 할당한다.
• 칼만 필터 업데이트 규칙을 적용하여 파라미터를 조정하며, LTM 파라미터는 잊히지 않도록 통제된 보수적 조정을 수행한다.
• 각 작업에 대한 파라미터 불확실성 추정을 지속적으로 유지하며, 현재 작업과 관련된 파라미터의 불확실성만 업데이트한다.
• 현재 작업의 클래스에 대해서만 손실을 계산하는 다중 헤드 손실 메커니즘을 구현하여 간섭 없이 효율적인 순차적 훈련을 가능하게 한다.
• 칼만 업데이트 절차를 사용하여 학습 속도와 안정성의 균형을 맞추며, STM 파라미터는 빠르게 적응하고 LTM 파라미터는 안정적으로 유지되도록 한다.

실험 결과

연구 질문

• RQ1 칼만 필터 기반 최적화기는 지속적 학습 환경에서 치명적인 잊음을 효과적으로 줄일 수 있는가?
• RQ2 파라미터를 장기 기억과 단기 기억 단위로 분리함으로써 순차적 작업 간 지식 유지가 어떻게 향상되는가?
• RQ3 기울기에서 유도된 불확실성 추정이 파라미터 안정성 향상과 이전 작업의 성능 저하 방지에 얼마나 기여하는가?
• RQ4 제안된 방법은 MNIST, CIFAR10, CIFAR100과 같은 표준 벤치마크에서 최첨단 지속적 학습 기준 모델과 비교해 어떻게 성능을 내는가?
• RQ5 과거 데이터를 저장하지 않더라도 칼만 최적화기는 새로운 작업을 학습하면서 모든 작업의 평균 정확도를 높게 유지할 수 있는가?

주요 결과

• 이산 MNIST 실험에서 칼만 최적화기는 모든 다섯 개의 작업을 훈련한 후에도 이전에 학습한 작업에서 거의 완벽한 정확도(1.0에 가까움)를 유지한다.
• 이산 CIFAR10 실험에서 제안된 방법은 이전 모든 작업의 평균 성능을 반영하는 분수 정확도가 지속적으로 증가하는 반면, 기준 모델의 성능은 감소한다.
• 10개 클래스의 부분집합으로 나뉘는 CIFAR100에서는 칼만 최적화기를 사용한 모델이 이전 작업의 성능을 유지하며, 작업 이동과 클래스 불균형에 대한 강건성을 보여준다.
• 제안된 방법을 사용할 경우 모든 작업의 평균 정확도가 시간이 지남에 따라 높고 증가하는 경향을 보이며, 성능 붕괴 없이 효과적인 지속적 학습이 가능함을 시사한다.
• 비중복 클래스 분포가 존재하는 환경에서 표준 훈련 및 기준 모델에 비해 잊음 현상을 크게 감소시켜 성능을 뛰어나게 한다.
• 불확실성 기반 파라미터 그룹화와 칼만 업데이트 메커니즘이 효과적으로 학습을 안정화시키며, 치명적인 잊음을 유발하는 큰 파라미터 이동을 방지한다.