[논문 리뷰] Uncertainty-based Continual Learning with Adaptive Regularization

Hongjoon Ahn, Sungmin Cha외 2명|arXiv (Cornell University)|2019. 05. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 31인용 수 93

한 줄 요약

본 논문은 불확실성 기반 연속 학습(UCL)과 적응적 규제화를 제시하며, 베이지안 가중치 분포에 대한 KL 기반 정규화 항을 도출하고 불확실성의 적응적 초기화로 다양한 작업과 아키텍처에서의 연속 학습을 향상시키는 방법을 제안한다.

ABSTRACT

We introduce a new neural network-based continual learning algorithm, dubbed as Uncertainty-regularized Continual Learning (UCL), which builds on traditional Bayesian online learning framework with variational inference. We focus on two significant drawbacks of the recently proposed regularization-based methods: a) considerable additional memory cost for determining the per-weight regularization strengths and b) the absence of gracefully forgetting scheme, which can prevent performance degradation in learning new tasks. In this paper, we show UCL can solve these two problems by introducing a fresh interpretation on the Kullback-Leibler (KL) divergence term of the variational lower bound for Gaussian mean-field approximation. Based on the interpretation, we propose the notion of node-wise uncertainty, which drastically reduces the number of additional parameters for implementing per-weight regularization. Moreover, we devise two additional regularization terms that enforce stability by freezing important parameters for past tasks and allow plasticity by controlling the actively learning parameters for a new task. Through extensive experiments, we show UCL convincingly outperforms most of recent state-of-the-art baselines not only on popular supervised learning benchmarks, but also on challenging lifelong reinforcement learning tasks. The source code of our algorithm is available at https://github.com/csm9493/UCL.

연구 동기 및 목표

• 깊은 네트워크가 작업 시퀀스에서 재앙적 망각을 완화하도록 연속 학습의 필요성을 제시한다.
• 아키텍처 깊이와 작업 구조에 적응하는 베이지안 불확실성 인식 규제 프레임워크를 개발한다.
• 연속적인 가중치 분포를 연결하는 클로즈드-폼 KL 발산 기반 정규화 항을 도출한다.
• 딥 아키텍처의 학습 안정화를 위한 가중치 불확실성(sigma)의 적응 전략을 제안한다.

제안 방법

• 가우시안 평균장(mean-field) 포스트eriors 간의 폐쇄형 KL 발산을 도출하여 정규화 항을 구한다.
• 계층별로 가중치 불확실성(sigma)을 적응적으로 초기화하는 것을 도입하여 순전파 및 역전파 신호 전파를 안정화한다.
• 채널/필터 단위에서 불확실성을 개념적으로 다루어 CNN에 UCL을 확장하고 작업 간 정규화 전파를 설명한다.
• 네트워크 구조와 하이퍼파라미터 선택을 포함하여 감독 학습과 강화 학습 설정에 대한 구현 세부 정보를 제공한다.
• 미래 작업에 대해 '활발한 학습자'를 우선시하는 매개변수 효율적 정규화를 시연하고, 적절할 때 원활한 망각을 지원한다.

실험 결과

연구 질문

• RQ1 불확실성 기반 규제화가 깊은 네트워크의 순차적 작업 간 재앙적 망각을 완화할 수 있는가?
• RQ2 계층 간에 가중치 불확실성(sigma)을 어떻게 초기화하고 적응시켜 연속 학습 성능을 극대화할 수 있는가?
• RQ3 유지(per retention)와 전방 전이 측면에서 CNN과 RL 환경에서의 적응적 규제가 EWC, SI, HAT, VCL 등 기존 베이스라인과 비교하여 어떤 성능을 보이는가?
• RQ4 계층/채널 수준의 불확실성을 합성곱 아키텍처에 효과적으로 확장하여 작업 간 정규화 강도를 제어할 수 있는가?

주요 결과

• 가우시안 평균장 포스트eriors 간의 폐쇄형 KL 발산은 가중치당 정규화 항으로 이어지며, 이는 계층당 정규화 표현으로 합산된다.
• 가중치 불확실성(sigma)의 적응적 초기화 전략은 심층 아키텍처 전반의 안정성과 성능을 향상시키며, 순전파/역전파 분산 제어를 안내하는 수식을 제공한다.
• 채널/필터 수준의 불확실성을 통해 CNN으로 UCL을 확장하면 중요한 구성 요소에 더 강한 정규화가 적용되고 덜 관련된 부분은 미래 작업에 대해 학습 가능한 상태로 남아 있음을 보여준다.
• 보충 자료에 따른 실증적 결과는 적응적 초기화가 다양한 작업 분할에서 평균 정확도와 유지력을 더 낫게 하며, baselines와 비교해 우수한 성능을 보임을 보여주고, 절멸 분석은 상위 계층 정규화와 항(5)/(6) 기여의 필요성을 강조한다.
• 유용한 특징을 보존하는 것이(나가는 가중치에 높은 정규화를 주는 것) 미래 작업을 지원하는 여러 활성 학습자를 가능하게 한다는 증거가 있다.
• sigma 초기화와 beta(정규화 강도)의 동작은 망각과 전방 전이 사이의 균형을 제어하며, 강화 학습 실험에서 누적 보상에 영향을 준다.