[논문 리뷰] Optimization and Generalization of Regularization-Based Continual Learning: a Loss Approximation Viewpoint

Dong Yin, Mehrdad Farajtabar외 3명|arXiv (Cornell University)|2020. 06. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 44인용 수 14

한 줄 요약

이 논문은 태스크 손실 함수를 두 번째 차수 테일러 전개로 모델링함으로써 정규화 기반 지속적 학습을 위한 통합된 손실 근사 프레임워크를 제안한다. 최적화 수렴성과 일반화에 대한 이론적 보장을 수립하며, 정확한 헤시안 근사가 핵심임을 입증한다 — 이는 펌uted MNIST, 로테이티드 MNIST, 스플릿 CIFAR 벤치마크에서 크로네커 분해 라플라스 근사가 EWC와 SI를 능가하는 것으로 실험적으로 검증된다.

ABSTRACT

Neural networks have achieved remarkable success in many cognitive tasks. However, when they are trained sequentially on multiple tasks without access to old data, their performance on early tasks tend to drop significantly. This problem is often referred to as catastrophic forgetting, a key challenge in continual learning of neural networks. The regularization-based approach is one of the primary classes of methods to alleviate catastrophic forgetting. In this paper, we provide a novel viewpoint of regularization-based continual learning by formulating it as a second-order Taylor approximation of the loss function of each task. This viewpoint leads to a unified framework that can be instantiated to derive many existing algorithms such as Elastic Weight Consolidation and Kronecker factored Laplace approximation. Based on this viewpoint, we study the optimization aspects (i.e., convergence) as well as generalization properties (i.e., finite-sample guarantees) of regularization-based continual learning. Our theoretical results indicate the importance of accurate approximation of the Hessian matrix. The experimental results on several benchmarks provide empirical validation of our theoretical findings.

연구 동기 및 목표

• 지속적으로 순차적으로 훈련될 때 이전 태스크를 망각하는 치명적인 잊음 문제를 해결하기 위해.
• 정규화 기반 지속적 학습 방법을 이론적으로 기반한 프레임워크를 제공하기 위해.
• 에라스틱 웨이트 컨solid레이션(EWC)과 크로네커 분해 라플라스 근사와 같은 기존 알고리즘을 공통의 손실 근사 시각에서 통합하기 위해.
• 이 통합 프레임워크 하에서 최적화 수렴성과 일반화 성질을 분석하기 위해.
• 표준 지속적 학습 벤치마크를 사용하여 이론적 발견을 실증적으로 검증하기 위해.

제안 방법

• 각 태스크의 손실 함수에 대한 두 번째 차수 테일러 근사를 통해 정규화 기반 지속적 학습을 수립한다.
• 근사된 헤시안 행렬을 사용하여 이전 태스크의 중요 가중치에서의 이탈을 방지하는 2차 정규화 항을 구성한다.
• 현재 태스크 손실과 근사된 이전 태스크 손실을 결합한 통합 최적화 목표를 유도한다.
• 근사된 손실 함수에 대한 경사하강법이 진짜 손실 최소값으로 수렴할 수 있는 이론적 조건을 수립한다.
• 손실 근사 프레임워크 하에서 유한 샘플 일반화 보장을 제공한다.
• 펌uted MNIST, 로테이티드 MNIST, 스플릿 CIFAR-100 벤치마크에서 프레임워크를 실증적으로 검증한다.

실험 결과

연구 질문

• RQ1 손실 함수 근사 기반으로 정규화 기반 지속적 학습을 어떻게 하나의 이론적 프레임워크로 통합할 수 있는가?
• RQ2 근사된 손실 함수에 대한 최적화가 진짜 손실 최소값으로 수렴하기 위한 조건은 무엇인가?
• RQ3 헤시안 근사 정확도가 지속적 학습에서 최적화 및 일반화에 어떻게 영향을 미치는가?
• RQ4 태스크 간 매개변수 공간 이동과 고차 도함수는 알고리즘 성능에 어떤 역할을 하는가?
• RQ5 헤시안 정확도에 대한 이론적 예측이 표준 벤치마크에서의 실증 결과와 얼마나 일치하는가?

주요 결과

• 크로네커 분해 라플라스 근사는 모든 벤치마크에서 EWC와 SI를 능가하며, 32 에포크 후 펌uted MNIST에서 96.0%의 정확도를 기록한다.
• 로테이티드 MNIST에서 크로네커 방법은 32 에포크 후 81.9%의 정확도를 기록하여 EWC(62.4%)와 SI(58.3%)를 크게 앞서며 성능을 뛰어넘는다.
• 스플릿 CIFAR에서 크로네커 방법은 32 에포크 후 59.9%의 정확도를 달성하여 EWC(44.0%)와 SI(45.3%)를 초월한다.
• 실증 결과는 헤시안 근사가 정확하지 않을 경우 태스크당 더 긴 훈련이 성능 악화로 이어질 수 있음을 확인하며, 이는 이론적 예측과 일치한다.
• 헤시안 근사 정확도는 알고리즘 성공의 핵심 결정 요소이며, 낮은 근사 정확도는 최적화 및 일반화의 열악한 수렴을 초래한다.
• 크로네커 방법의 계산 비용은 EWC 대비 5~10배 높아, 실생활에서 헤시안 정확도와 효율성 간의 상충 관계를 보여준다.