[논문 리뷰] Improving and Understanding Variational Continual Learning

Siddharth Swaroop, Cuong V. Nguyen외 2명|arXiv (Cornell University)|2019. 05. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 20인용 수 30

한 줄 요약

이 논문은 평균장 변분 베이지안 신경망을 개선하여 변분 연속 학습(VCL)의 성능을 향상시켰으며, 분할 MNIST(95.5% 정확도)과 순열 MNIST(코어셋을 사용한 94.6%)에서 최신 기준 성능을 달성하였다. 또한, 극복 불능성 막힘 방지에 있어 불확실성 추정과 매개변수 정규화의 기여를 설명한다.

ABSTRACT

In the continual learning setting, tasks are encountered sequentially. The goal is to learn whilst i) avoiding catastrophic forgetting, ii) efficiently using model capacity, and iii) employing forward and backward transfer learning. In this paper, we explore how the Variational Continual Learning (VCL) framework achieves these desiderata on two benchmarks in continual learning: split MNIST and permuted MNIST. We first report significantly improved results on what was already a competitive approach. The improvements are achieved by establishing a new best practice approach to mean-field variational Bayesian neural networks. We then look at the solutions in detail. This allows us to obtain an understanding of why VCL performs as it does, and we compare the solution to what an `ideal' continual learning solution might be.

연구 동기 및 목표

• 표준 연속 학습 벤치마크, 특히 분할 MNIST와 순열 MNIST에서 변분 연속 학습(VCL)의 성능을 향상시키는 것.
• VCL이 불확실성 추정과 매개변수 정규화를 통해 극복 불능성 막힘을 피하는 메커니즘을 이해하는 것.
• 코어셋(재생 메모리)을 통합할 경우 VCL의 성능과 일반화 능력에 미치는 영향을 평가하는 것.
• 모델 용량 사용, 전방/후방 전이, 그리고 평균장 변분 추론이 연속 학습에서 수행하는 역할을 분석하는 것.
• 연속 학습 환경에서 평균장 변분 베이지안 신경망을 훈련하는 데 있어 새로운 최선의 실천 방법을 수립하는 것.

제안 방법

• 각 작업 이후에 네트워크 가중치에 대한 후행 분포를 평균장 변분 추론을 통해 근사하며, 불확실성 추정을 유지한다.
• 이전 작업의 후행 분포를 다음 작업의 사전 분포로 설정하여, 베이지안 정규화를 통한 지속적인 매개변수 갱신을 가능하게 한다.
• 각 신규 작업에 대해 변분 하한(ELBO)을 최적화하기 위해 확률적 경사 하강법을 적용하며, 근사 후행 분포를 갱신한다.
• 기존 데이터의 코어셋을 통합하여 일반화 능력을 향상시키고 막힘을 줄이며, 효과적으로 훈련 스케줄을 수정한다.
• 이미지 분류를 위해 ReLU 활성화 함수를 사용하는 두 층의 피드포워드 신경망과 소프트맥스 출력층을 사용한다.
• 학습 동역학을 평가하기 위해 가중치 플롯, 활성 유닛 수, 전방/후방 전이 지표를 분석한다.

실험 결과

연구 질문

• RQ1 향상된 평균장 변분 추론은 분할 MNIST와 순열 MNIST에서 VCL 성능을 어떻게 향상시키는가?
• RQ2 VCL은 얼마나 강력한 전방 및 후방 전이를 달성하는가? 이상적인 연속 학습 행동과 비교해 볼 때 어떻게 다른가?
• RQ3 코어셋 사용은 VCL에서 막힘과 성능에 어떤 영향을 미치며, 매개변수 불확실성에 어떤 영향을 미치는가?
• RQ4 가중치와 활성 유닛 동역학에서 도출할 수 있는 통찰은 VCL에서 모델 용량 사용과 매개변수 정규화에 어떤 영향을 미치는가?
• RQ5 왜 평균장 변분 추론이 VCL에서 자동으로 정규화 효과를 유도하는가? 이는 막힘 방지와 어떻게 관련되는가?

주요 결과

• 향상된 VCL 방법은 10개의 작업을 거친 후 분할 MNIST에서 평균 테스트 정확도 95.5%를 달성하였으며, 원본 VCL(90%)를 크게 능가하고 새로운 최신 기준을 수립하였다.
• 200개의 랜덤 샘플로 구성된 코어셋을 사용할 경우, VCL은 순열 MNIST에서 94.6%의 정확도를 달성하였으며, 원본 VCL에 코어셋을 적용한 경우(93%)를 뛰어넘고, 유사한 용량을 가진 이전 방법들인 EWC와 SI를 초월하였다.
• 활동 유닛 수와 가중치 크기 분포가 작업 간에 안정적으로 유지되어, 일관된 모델 용량 사용과 명백한 과적합이 없음을 시사한다.
• 이 방법은 극복 불능성 막힘에 매우 강력한 저항성을 보이며, 새로운 작업을 학습한 후에도 이전 작업에서의 성능 저하가 최소한도로 유지된다.
• 코어셋 사용은 이전 작업의 표현을 강화하여 막힘을 줄이며, 이는 데이터 재생이 불확실성 기반 정규화를 강화함을 시사한다.
• 평균장 변분 근사 방법은 중요도가 낮은 매개변수를 억제하는 자연스러운 정규화 효과를 유도하며, 이는 연속 학습의 바람직한 특성과 부합한다.