[논문 리뷰] Natural continual learning: success is a journey, not (just) a destination

Ta-Chu Kao, Kristopher T. Jensen외 3명|arXiv (Cornell University)|2021. 06. 15.

Domain Adaptation and Few-Shot Learning인용 수 9

한 줄 요약

이 논문은 피드포워드 및 순환 신경망 모두에서 치명적인 잊음 현상을 방지하기 위해 베이지안 가중치 정규화와 후행 정밀도를 사용한 신뢰 영역 최적화를 통합한 통합적 방법인 자연계속학습(Natural Continual Learning, NCL)을 소개한다. NCL는 시간이 지남에 따라 과거 작업의 동적 특성을 유지함으로써 기존의 정규화 및 투영 기반 접근법을 능가하며, 생물학적 신경 회로와 유사한 성능을 보인다.

ABSTRACT

Biological agents are known to learn many different tasks over the course of their lives, and to be able to revisit previous tasks and behaviors with little to no loss in performance. In contrast, artificial agents are prone to 'catastrophic forgetting' whereby performance on previous tasks deteriorates rapidly as new ones are acquired. This shortcoming has recently been addressed using methods that encourage parameters to stay close to those used for previous tasks. This can be done by (i) using specific parameter regularizers that map out suitable destinations in parameter space, or (ii) guiding the optimization journey by projecting gradients into subspaces that do not interfere with previous tasks. However, these methods often exhibit subpar performance in both feedforward and recurrent neural networks, with recurrent networks being of interest to the study of neural dynamics supporting biological continual learning. In this work, we propose Natural Continual Learning (NCL), a new method that unifies weight regularization and projected gradient descent. NCL uses Bayesian weight regularization to encourage good performance on all tasks at convergence and combines this with gradient projection using the prior precision, which prevents catastrophic forgetting during optimization. Our method outperforms both standard weight regularization techniques and projection based approaches when applied to continual learning problems in feedforward and recurrent networks. Finally, the trained networks evolve task-specific dynamics that are strongly preserved as new tasks are learned, similar to experimental findings in biological circuits.

연구 동기 및 목표

• 지속적 학습에서 새로운 작업을 학습할 때 과거 작업의 성능이 떨어지는 치명적인 잊음 현상을 해결하기 위해.
• 베이지안 추론에 기반한 이론적으로 타당한 프레임워크 안에서 가중치 정규화와 기울기 투영 방법을 통합하기 위해.
• 특히 비항등성 작업 설정에서 피드포워드 및 순환 신경망 모두에서 지속적 학습 성능을 향상시키기 위해.
• 인공 네트워크에서 학습된 신경 동역학이 생물학적 회로에서 관찰된 것과 유사한지 조사하기 위해.
• 기존의 하이퍼파rameter 조정에 민감하거나 최적화 경로가 비최적인 지속적 학습 방법에 대한 이론적으로 탄탄하고 확장 가능한 대안을 제공하기 위해.

제안 방법

• NCL는 이전 작업의 매개변수에 대한 근사 후행 분포의 최대값으로 수렴하도록 유도하기 위해 베이지안 가중치 정규화를 사용한다.
• 이전 작업의 후행 정밀도 행렬을 사용하여 신뢰 영역을 구성함으로써, 매개변수 갱신을 이전에 중요한 방향의 영공간으로 제약한다.
• 역 후행 정밀도로 기울기를 전치함으로써 자연 기울기 하강법을 수행함으로써, 이전 작업 성능에 간섭을 피하는 갱신을 보장한다.
• 이 방법은 표준 정규화 및 투영 기반 방법을 특수한 경우로 통합하며, NCL는 더 이론적으로 탄탄하고 효과적인 변종이다.
• 순환 네트워크의 경우, NCL는 시간이 지남에 따라 과거 작업에 특화된 잠재 동역학을 유지한다. 이는 생물학적 신경 회로와 유사하다.
• 이 방법은 이전 작업의 후행 분포에서 유도된 정규화항과 현재 작업의 손실을 결합한 수정된 최적화 절차를 통해 적용된다.

실험 결과

연구 질문

• RQ1 베이지안 정규화와 신뢰 영역 최적화를 통합한 통합적 프레임워크가 피드포워드 및 순환 네트워크 모두에서 기존의 지속적 학습 방법을 능가할 수 있는가?
• RQ2 NCL로 훈련된 인공 신경망의 동역학은 지속적 학습 중 생물학적 신경 회로에서 관찰된 것과 어떻게 유사한가?
• RQ3 후행 정밀도를 전치자로 사용할 경우, 표준 정규화 또는 투영 방법보다 더 안정적이고 효과적인 최적화 경로를 제공하는가?
• RQ4 국소 최소값이 최적화 전략에 따라 다를 수 있는 비볼록 최적화 문제에서 NCL는 어떻게 성능을 발휘하는가?
• RQ5 테스트 시에 작업 정체성이 명시적으로 제공되지 않더라도 NCL는 이전에 학습한 작업에서 높은 성능을 유지할 수 있는가?

주요 결과

• NCL는 피드포워드 및 순환 신경망 모두에서 표준 가중치 정규화 및 투영 기반 방법보다 지속적 학습 과제에서 뛰어난 성능을 보였다.
• 비볼록 최적화 문제에서 NCL는 라플라스 또는 투영 기반 기울기 방법보다 더 낮은 복합 손실 값을 기록함으로써 더 나은 국소 최소값으로 수렴하였다.
• NCL로 훈련된 네트워크는 시간이 지나도 안정적이고 과제에 특화된 잠재 동역학을 유지하며, 생물학적 신경 회로에서의 발견과 유사하다.
• 네트워크 용량이 포화 상태에 들어가기 시작할 때조차도 NCL는 치명적인 잊음 현상을 효과적으로 완화하며, 이는 이전 접근법의 알려진 실패 케이스이다.
• NCL의 신뢰 영역 메커니즘은 후행 정밀도에서 유도되며, 히وري스틱한 투영 또는 정규화 기반 방법에 비해 더 견고하고 이론적으로 탄탄한 대안을 제공한다.
• 이론적 분석을 통해 이전의 투영 기반 방법(Duncker 등, 2020; Zeng 등, 2019)은 NCL의 신뢰 영역 최적화의 근사치임을 밝혀내어, NCL의 더 넓은 적용 가능성을 정당화한다.