[논문 리뷰] Continual Learning using a Bayesian Nonparametric Dictionary of Weight Factors

Nikhil Mehta, Kevin J Liang외 2명|arXiv (Cornell University)|2020. 04. 21.

Domain Adaptation and Few-Shot Learning참고 문헌 49인용 수 8

한 줄 요약

이 논문은 작업 복잡도에 따라 신경망 용량을 동적으로 확장하는 데 Indian Buffet Process(이하 IBP) 사전확률을 사용하는 베이지안 비모수적 지속적 학습 방법인 IBP-WF를 제안한다. 가중치 행렬을 인수분해하고 작업 간에 희소하고 공유되는 인수를 재사용함으로써 치명적 기억상실을 완화하면서도 긍정적인 지식 전이를 가능하게 하며, 수동적 초모수 조정 없이도 MNIST 및 CIFAR-10 벤치마크에서 기존 방법들을 능가하는 성능을 보이며 데이터 기반의 모델 확장이 가능하다.

ABSTRACT

Naively trained neural networks tend to experience catastrophic forgetting in sequential task settings, where data from previous tasks are unavailable. A number of methods, using various model expansion strategies, have been proposed recently as possible solutions. However, determining how much to expand the model is left to the practitioner, and often a constant schedule is chosen for simplicity, regardless of how complex the incoming task is. Instead, we propose a principled Bayesian nonparametric approach based on the Indian Buffet Process (IBP) prior, letting the data determine how much to expand the model complexity. We pair this with a factorization of the neural network's weight matrices. Such an approach allows the number of factors of each weight matrix to scale with the complexity of the task, while the IBP prior encourages sparse weight factor selection and factor reuse, promoting positive knowledge transfer between tasks. We demonstrate the effectiveness of our method on a number of continual learning benchmarks and analyze how weight factors are allocated and reused throughout the training.

연구 동기 및 목표

• 수동적 초모수 조정 없이 데이터 기반의 자동 모델 확장을 통해 지속적 학습에서 치명적 기억상실 문제를 해결하기 위해.
• 신경망 내에서 공유되고 재사용 가능한 가중치 인수를 통해 작업 간 긍정적인 지식 전이를 촉진하기 위해.
• 고정된 확장 스케줄이 아닌, 도착하는 작업의 복잡도에 따라 모델 복잡도를 원칙적으로 확장하는 베이지안 프레임워크를 개발하기 위해.
• 지속적 학습 환경에서 베이지안 추론을 통해 불확실성 추정 및 모델 앙상블을 가능하게 하기 위해.

제안 방법

• 모든 레이어의 가중치 행렬을 질량-1 인수의 공유 사전과 작업별 희소 대각 행렬로 인수분해하여 효율적인 파rameter 공유를 가능하게 한다.
• 각 작업에 대해 활성 인수 선택에 인디안 빵집 과정(IBP) 사전확률을 적용하여 모델 용량의 자동적, 희소적, 동적 확장을 가능하게 한다.
• IBP 사전확률은 데이터 기반의 복잡도에 따라 필요할 때만 새로운 인수를 추가하고 기존 인수를 작업 간에 재사용하도록 유도한다.
• 스티ck-breaking 구성과 함께 확률적 경사 하강법을 사용하여 모델을 훈련하며, 최대 인수 수로 잘라내어 사용한다.
• 증가하는 클래스 설정에서 작업 정체성을 특징 통계를 통해 추론하여, 작업 경계 지식 없이도 효과적인 지속적 학습을 가능하게 한다.
• 두 단계 훈련 과정을 사용한다: 첫 번째 단계는 IBP 추론을 포함한 엔드 투 엔드 훈련이며, 두 번째 단계는 고정된 수의 인수로 미세조정하여 성능 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 IBP와 같은 베이지안 비모수적 사전확률이 수동 조정 없이 지속적 학습에서 적절한 모델 확장률을 자동으로 결정할 수 있는가?
• RQ2 공유되고 희소한 가중치 인수는 순차적으로 학습된 작업 간에 지식 전이와 기억상실 감소에 얼마나 효과적으로 기여하는가?
• RQ3 IBP-WF 방법은 기존의 정규화 및 확장 기반 기준 방법보다 더 나은 지속적 학습 성능을 달성하는가?
• RQ4 활동 인수 수와 인수 재사용 패턴은 작업 간에 어떻게 변화하는가? 그리고 IBP 사전확률은 이 과정에서 어떤 역할을 하는가?

주요 결과

• IBP-WF는 분할 MNIST 및 순열 MNIST 벤치마크에서 증가 클래스 및 증가 작업 설정 모두에서 EWC, GEM, VCL 등 여러 기준 방법보다 뛰어난 성능을 보였다.
• IBP 초모수 값의 광범위한 범위에서 안정적인 성능을 보이며, α 및 κ에 대해 낮은 민감도를 보여 실용적 안정성이 높음을 확인했다.
• 제거 실험을 통해 α 및 κ가 성능에 상당한 영향을 미치며, 인수 수와 유지 임계값에 최적 범위가 존재하는 것으로 확인되었다.
• 인수 사용 시각화 결과 희소 활성화와 이전에 학습된 인수의 일관된 재사용을 확인하여 긍정적 지식 전이 메커니즘의 타당성을 검증했다.
• ResNet-20 기반으로 CIFAR-10에서 높은 정확도를 달성하여 단순 MLP를 넘어서는 확장성과 더 깊은 아키텍처로의 일반화 능력을 입증했다.
• 베이지안 추론을 통해 불확실성 추정 및 모델 샘플링이 가능하며, 이는 일반적으로 지속적 학습에서 간과되는 특성이다.