[논문 리뷰] Variational Continual Learning

Cuong V. Nguyen, Yingzhen Li외 2명|arXiv (Cornell University)|2017. 10. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 8인용 수 295

한 줄 요약

Variational Continual Learning (VCL)은 온라인 변분 추론과 에피소딕 메모리를 결합하여, 판별 모델과 생성 모델 모두에서의 망각을 완화하는 연속 학습을 위한 원리적인 Bayesian 프레임워크이다.

ABSTRACT

This paper develops variational continual learning (VCL), a simple but general framework for continual learning that fuses online variational inference (VI) and recent advances in Monte Carlo VI for neural networks. The framework can successfully train both deep discriminative models and deep generative models in complex continual learning settings where existing tasks evolve over time and entirely new tasks emerge. Experimental results show that VCL outperforms state-of-the-art continual learning methods on a variety of tasks, avoiding catastrophic forgetting in a fully automatic way.

연구 동기 및 목표

• 새로운 데이터로 자연스럽게 업데이트되면서도 과거 데이터를 모두 재확인하지 않는 일반적인 온라인 Bayesian 프레임워크를 개발한다.
• 온라인 변분 추론을 연속 작업 설정의 신경망에 확장한다.
• 작은 에피소딕 메모리(coreset)를 도입하여 망각을 더 줄이고 과거 작업에서의 지식을 보존한다.
• 자동 망각 제어를 통해 판별 모델과 딥 생성 모델 모두에서 VCL을 시연한다.
• 목표에서 조정 가능한 하이퍼파라미터 튜닝 없이도 VCL이 여러 벤치마크에서 최첨단 연속 학습 방법보다 우수하다는 것을 보여준다.

제안 방법

• 연속 학습을 불가능한 사후 분포를 q_t(theta)로 근사하는 순차 Bayesian 업데이트로 설정한다.
• KL-발산 투영 단계는 KL(q_t || (1/Z_t) q_{t-1} p(D_t|theta))를 최소화하도록 정의한다.
• 에피소딕 메모리(coreset)를 도입하여 비코어셋과 코어셋 기여로 사후 분포를 분해하고 순차적 투영을 수행함으로써 메모리를 새로 고친다.
• 공유 매개변수와 작업별 헤드를 가진 깊은 판별 네트워크에 변분적 계속 학습을 적용하되, 가우시안 평균장 측정 사후와 온라인 VI를 사용한다.
• 공유된 구성요소와 작업별 구성요소를 다루며 변분식 기반의 사후 업데이트를 동일하게 적용하여 심층 생성 모델(VAEs)에 프레임워크를 확장한다.
• 연속적인 변분 자유에 해당하는 학습 목표를 제공하되, 연속 후후 사후 간의 KL 페널티 항을 포함한다.

실험 결과

연구 질문

• RQ1 변분적 연속 학습이 광범위한 하이퍼파라미터 튜닝 없이도 망각을 자동으로 제어할 수 있는가?
• RQ2 공유 표현과 작업별 출력을 가진 심층 판별 모델에서 온라인 VI를 순차적 작업에 어떻게 적응시킬 수 있는가?
• RQ3 작은 에피소딕 메모리의 통합이 VCL에서 작업 간 보존을 개선하는가?
• RQ4 VCL을 VAEs 같은 심층 생성 모델에 효과적으로 확장하여 작업 간 지식을 유지할 수 있는가?
• RQ5 VCL이 표준 벤치마크에서 기존의 연속 학습 방법과 비교해 어떤 성능을 보이는가?

주요 결과

• VCL은 다양한 판별 및 생성 과제에서 최첨단 연속 학습 방법을 능가한다.
• 연속 작업 간의 베이지안 사후 프레임워크로 망각이 감소하여 지식의 보존이 강화된다.
• 코어셋 에피소딕 메모리의 도입은 추가적인 이득을 제공하여 보존이 더 향상된다.
• VCL 하에서 VAEs 및 기타 심층 생성 모델도 과거 작업에 대한 기억을 유지하며 지속적으로 학습될 수 있다.
• 목표가 하이퍼-파라미터 프리(hyper-parameter free)이며, 튜닝된 정규화 강도 대신 변분 사후 업데이트에 의존한다.