[논문 리뷰] Bayesian Gradient Descent: Online Variational Bayes Learning with Increased Robustness to Catastrophic Forgetting and Weight Pruning.

Chen Zeno, Itay Golan외 2명|arXiv (Cornell University)|2018. 03. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 10인용 수 7

한 줄 요약

이 논문은 작업 경계 지식이나 재학습 없이 신경망 가중치에 대한 사후 분포를 추정하는 온라인 변분 베이지안 경사하강법을 제안한다. 이 방법은 치명적인 잊힘과 가중치 프루닝에 대한 강건성을 향상시키며, 불확실성 인식 파rameter 업데이트를 통해 모델 안정성과 희소성에 대한 저항력을 향상시킨다.

ABSTRACT

We suggest a novel approach for the estimation of the posterior distribution of the weights of a neural network, using an online version of the variational Bayes method. Having a confidence measure of the weights allows to combat several shortcomings of neural networks, such as their parameter redundancy, and their notorious vulnerability to the change of input distribution (catastrophic forgetting). Specifically, We show that this approach helps alleviate the catastrophic forgetting phenomenon - even without the knowledge of when the tasks are been switched. Furthermore, it improves the robustness of the network to weight pruning - even without re-training.

연구 동기 및 목표

• 작업 경계 정보가 없이 연속 학습에서 치명적인 잊힘을 해결하기 위해.
• 불확실성 인식 가중치 추정을 통해 신경망의 파라미터 중복을 줄이기 위해.
• 재학습 없이 가중치 프루닝에 대한 강건성을 향상시키기 위해.
• 새로운 데이터에 동적으로 적응하는 온라인 변분 베이지안 방법을 개발하기 위해.
• 모델의 해석 가능성과 안정성을 향상시키기 위해 가중치에 대한 신뢰도 측정을 제공하기 위해.

제안 방법

• 실시간으로 신경망 가중치에 대한 사후 분포를 온라인 변분 베이지안을 사용해 근사한다.
• 미니배치 데이터를 사용하여 변분 사후 파라미터를 경사하강법으로 업데이트한다.
• 과적합을 줄이고 일반화 성능을 향상시키기 위해 불확실성 추정을 가중치 업데이트에 통합한다.
• 분포 이동에 대한 강건성을 보장하기 위해 가중치의 확률적 표현을 유지한다.
• 변분 목표 함수의 미분 가능 최적화를 가능하게 하기 위해 재구성 기법을 활용한다.
• 과거 데이터를 저장하거나 작업 식별자를 요구하지 않으며, 증분 학습을 지원한다.

실험 결과

연구 질문

• RQ1 온라인 변분 베이지안 학습이 작업 경계 탐지 없이 연속 학습에서 치명적인 잊힘을 감소시킬 수 있는가?
• RQ2 불확실성 인식 가중치 추정은 가중치 프루닝에 대해 어떤 방식으로 강건성을 향상시키는가?
• RQ3 재학습 없이 분포 이동에 대해 어느 정도 성능을 유지할 수 있는가?
• RQ4 베이지안 경사하강법을 통한 사후 근사가 모델의 희소성과 파라미터 효율성을 향상시키는가?
• RQ5 최소한의 아키텍처 변경으로 순차적 작업 간에 안정적인 성능을 달성할 수 있는가?

주요 결과

• 이 방법은 작업 경계 발생 시점 정보 없이도 순차적 학습 과제에서 치명적인 잊힘을 크게 감소시킨다.
• 새로운 과제를 학습한 후 이전 과제에 대해 높은 정확도를 유지하며, 안정성이 향상됨을 보여준다.
• 가중치 프루닝에 대해 강건하여 희소 가중치 구성에서도 성능을 유지한다.
• 불확실성 인식 학습을 통해 효과적인 파라미터 공유를 실현하고 중복을 줄인다.
• 프루닝 후 재학습이나 피팅 조정 없이도 과제 간 성능이 유지된다.
• 온라인 업데이트만으로 벤치마크 연속 학습 과제에서 경쟁 가능한 정확도를 달성한다.