[논문 리뷰] Bayesian Nonparametric Weight Factorization for Continual Learning.

Nikhil Mehta, Kevin J Liang외 1명|arXiv (Cornell University)|2020. 04. 21.

Domain Adaptation and Few-Shot Learning참고 문헌 30인용 수 5

한 줄 요약

이 논문은 과제 복잡도에 따라 모델 확장을 동적으로 결정하는 데 인디안 버거 풀(Indian Buffet Process, IBP) 사전을 사용하는 베이지안 비모수적 가중치 분해 방법을 제안한다. 신경망 가중치를 분해하고 IBP를 활용해 희박성과 요인 재사용을 유도함으로써, 데이터 기반의 적응형 모델 확장이 가능해지고 과제 간 지식 전이를 촉진한다. 이는 연속 학습 벤치마크에서 고정된 확장 기반 보다 뛰어난 성능을 보인다.

ABSTRACT

Naively trained neural networks tend to experience catastrophic forgetting in sequential task settings, where data from previous tasks are unavailable. A number of methods, using various model expansion strategies, have been proposed recently as possible solutions. However, determining how much to expand the model is left to the practitioner, and typically a constant schedule is chosen for simplicity, regardless of how complex the incoming task is. Instead, we propose a principled Bayesian nonparametric approach based on the Indian Buffet Process (IBP) prior, letting the data determine how much to expand the model complexity. We pair this with a factorization of the neural network's weight matrices. Such an approach allows us to scale the number of factors of each weight matrix to the complexity of the task, while the IBP prior imposes weight factor sparsity and encourages factor reuse, promoting positive knowledge transfer between tasks. We demonstrate the effectiveness of our method on a number of continual learning benchmarks and analyze how weight factors are allocated and reused throughout the training.

연구 동기 및 목표

• 들어오는 과제의 복잡도에 따라 모델 복잡도를 동적으로 스케일링하여 치명적인 잊음 문제를 해결하고자 한다.
• 고정된 스케줄을 대체하여 데이터 기반 메커니즘을 도입함으로써 모델 확장에 대한 수동적 초모수 조정이 필요 없도록 하려고 한다.
• 가중치 행렬 내 요인 재사용을 통해 과제 간 긍정적 지식 전이를 촉진하고자 한다.
• 신경망 가중치 행렬의 요인 수를 결정하는 원칙적인 비모수적 방법을 제공하고자 한다.
• 표준 연속 학습 벤치마크에서 본 방법의 효과성을 입증하고, 요인 할당 및 재사용에 대한 분석을 수행하고자 한다.

제안 방법

• 가중치 행렬 내 요인 수를 모델링하기 위해 인디안 버거 풀(IBP) 사전을 사용하여 데이터가 모델 복잡도를 결정하도록 한다.
• 저랭크 분해를 신경망 가중치 행렬에 적용하여 공유 요소와 과제별 전용 요소로 분해한다.
• 요인 로딩 행렬의 희박성을 유지하기 위해 IBP 사전을 사용하여 각 과제당 관련 있는 요인들만 활성화되도록 유도한다.
• 데이터가 이를 지원할 경우 동일한 요인을 여러 과제 간에 공유함으로써 요인 재사용을 가능하게 하여 지식 전이를 촉진한다.
• IBP 사전의 비모수적 성질을 유지하면서 스토하스틱 최적화를 통해 모델을 종합적으로 훈련한다.
• 사전에 지정하지 않고도 각 레이어의 요인 수를 들어오는 과제의 복잡도에 따라 적응적으로 스케일링한다.

실험 결과

연구 질문

• RQ1 고정된 스케줄에 의존하지 않고 과제 복잡도에 따라 모델 확장을 어떻게 적응적으로 만들 수 있는가?
• RQ2 과제 간 요인 재사용이 지식 전이 향상과 잊음 감소에 얼마나 기여하는가?
• RQ3 IBP 사전은 순차적 과제 학습 동안 요인 할당과 희박성에 어떻게 영향을 미치는가?
• RQ4 동적 요인 스케일링이 연속 학습 벤치마크 전반의 성능에 어떤 영향을 미치는가?
• RQ5 고정된 확장 기반 보다 본 방법은 잊음과 정확도 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 방법은 과제 복잡도에 따라 모델 복잡도를 동적으로 적응시키기 때문에 여러 연속 학습 벤치마크에서 최고 성능을 달성한다.
• IBP 사전은 요인 로딩 행렬의 희박성을 성공적으로 유도하여 효율적이고 해석 가능한 요인 사용을 가능하게 한다.
• 과제 간에 뚜렷한 요인 재사용이 관찰되어 효과적인 긍정적 지식 전이가 이루어짐을 시사한다.
• 모델은 과제 복잡도에 따라 각 레이어의 요인 수를 스케일링하여 과도한 파rameter화나 과소적합을 방지한다.
• 평균 정확도와 치명적인 잊음 감소 측면에서 고정 확장 기반 보다 본 방법이 뛰어난 성능을 보인다.
• 분석 결과 복잡한 과제는 더 많은 요인을 활성화하는 반면, 단순한 과제는 기존 요인을 재사용함을 확인하여 적응적 행동을 입증한다.