[논문 리뷰] A Unifying Bayesian View of Continual Learning

Sebastian Farquhar, Yarin Gal|arXiv (Cornell University)|2019. 02. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 16인용 수 48

한 줄 요약

논문은 prior-focused와 likelihood-focused 접근을 결합한 지속적 학습에 대한 통합 베이지안 프레임워크를 제시하고, Variational Generative Replay (VGR)를 도입하며, likelihood-focused 방법이 prior-focused 방법보다 불확실성 보정 측면에서 더 우수할 수 있음을 보여준다.

ABSTRACT

Some machine learning applications require continual learning - where data comes in a sequence of datasets, each is used for training and then permanently discarded. From a Bayesian perspective, continual learning seems straightforward: Given the model posterior one would simply use this as the prior for the next task. However, exact posterior evaluation is intractable with many models, especially with Bayesian neural networks (BNNs). Instead, posterior approximations are often sought. Unfortunately, when posterior approximations are used, prior-focused approaches do not succeed in evaluations designed to capture properties of realistic continual learning use cases. As an alternative to prior-focused methods, we introduce a new approximate Bayesian derivation of the continual learning loss. Our loss does not rely on the posterior from earlier tasks, and instead adapts the model itself by changing the likelihood term. We call these approaches likelihood-focused. We then combine prior- and likelihood-focused methods into one objective, tying the two views together under a single unifying framework of approximate Bayesian continual learning.

연구 동기 및 목표

• 엄격한 데이터 보존/실시간 제약 하에서 지속적 학습에 대한 동기를 부여한다.
• 지속적 학습을 베이지안 프레임워크로 재정의하고 prior-focused 방법의 한계를 식별한다.
• prior와 likelihood 구성요소를 혼합하는 통합 손실을 제시한다.
• 각 작업에 대해 likelihood-focused 방법으로 Variational Generative Replay (VGR)를 도입한다.
• 표준 벤치마크에서 prior-, likelihood-, 하이브리드 접근법을 실험적으로 비교한다.

제안 방법

• 변분 베이지안 설정 내에서 prior-focused, likelihood-focused, 하이브라드 지속적 학습 손실을 정의한다.
• 여러 작업에 대해 ELBO 기반 손실을 유도하고 생성 모델을 통해 과거 데이터의 로그 가능도(log-likelihoods)를 추정하는 방법을 보인다.
• 작업별로 p_t(x,y)를 모델링하는 GAN을 학습하고 저장된 제너레이터를 사용하여 의사 재연 데이터를 형성하는 방식으로 Variational Generative Replay (VGR)를 도입한다.
• 각 작업마다 생성 가능도 항과 새로운 prior를 결합한 하이브드 손실 L^t_Hybrid를 형성한다.
• VGR, VCL(with/without coresets), 그리고 코어레스터리스트 기반 베이스라인을 표준 벤치마크에서 비교한다.

실험 결과

연구 질문

• RQ1 사전 사후 확률 q_{t-1}(ω)에 의존하는 것이 지속적 학습을 충분히 지원하는가, 아니면 재연(rehearsal) 접근인 likelihood 기반이 우수한가?
• RQ2 prior- 및 likelihood-focused 아이디어를 결합한 통합 베이지안 목표가 지속적 학습의 성능과 불확실성 보정력을 개선할 수 있는가?
• RQ3 생성 재생(VGR)이 과거 작업의 가능도를 근사하고 성능을 향상시키는 역할은 무엇인가?
• RQ4 코어레스트가 하이브리드 방법의 성능에 어느 정도 기여하며, likelihood-focused 구성 요소만으로도 결과를 설명할 수 있는가?

주요 결과

• Likelihood-focused 방법들(예: VGR)이 단일-headed Split MNIST와 같은 다중 작업이 아닌 설정에서 prior-focused 방법보다 우수한 성능을 보일 수 있다.
• 하이브리드 접근에서 코어스트는 성능에 큰 기여를 하며, 이들의 효과는 가능도 구성요소의 기여를 분리해 보여준다.
• VGR은 데이터가 이미 보였는지에 대한 불확실성 보정에서 prior-focused 포스트러리보다 더 잘 보정한다.
• 하이브드 접근의 성능은 주로 생성 재생 구성요소에 의해 좌우되며 prior 기반 정규화보다 더 큰 영향력을 가진다.
• 간단한 벤치마크(Permuted MNIST, 다중-헤드 Split MNIST)에서는 모든 방법이 잘 작동하지만, 더 어려운 설정(단일 헤드 Split MNIST)에서 차이가 나타난다.