[논문 리뷰] A Neural Dirichlet Process Mixture Model for Task-Free Continual Learning

Soochan Lee, Junsoo Ha외 2명|arXiv (Cornell University)|2020. 01. 03.

Domain Adaptation and Few-Shot Learning참고 문헌 40인용 수 94

한 줄 요약

CN-DPM은 작업 경계 없이 연속 학습을 가능하게 하는 신경망 Dirichlet 프로세스 혼합을 도입합니다. Bayesian 비parametric 프레임워크 하에서 전문가를 온라인으로 확장하고, 작업 경계 없이 판별 및 생성 작업을 모두 처리합니다.

ABSTRACT

Despite the growing interest in continual learning, most of its contemporary works have been studied in a rather restricted setting where tasks are clearly distinguishable, and task boundaries are known during training. However, if our goal is to develop an algorithm that learns as humans do, this setting is far from realistic, and it is essential to develop a methodology that works in a task-free manner. Meanwhile, among several branches of continual learning, expansion-based methods have the advantage of eliminating catastrophic forgetting by allocating new resources to learn new data. In this work, we propose an expansion-based approach for task-free continual learning. Our model, named Continual Neural Dirichlet Process Mixture (CN-DPM), consists of a set of neural network experts that are in charge of a subset of the data. CN-DPM expands the number of experts in a principled way under the Bayesian nonparametric framework. With extensive experiments, we show that our model successfully performs task-free continual learning for both discriminative and generative tasks such as image classification and image generation.

연구 동기 및 목표

• 명시적 작업 경계에 의존하지 않는 연속 학습 방법을 동기 부여하고 개발한다.
• 베이지안 비파라미틱스를 통해 새로운 데이터에 적응적으로 모델 용량을 확장하는 확장 기반 접근법을 제안한다.
• 단일 CN-DPM 프레임워크 내에서 판단적(구분) 및 생성적 작업을 모두 가능하게 한다.
• 전문가당 독립적인 생성적 및 판별적 구성요소를 사용하여 파국적 망각을 방지한다.
• 표준 작업 경계 없는 CL 벤치마크(MNIST, SVHN, CIFAR)에서 기준선과 비교하여 경쟁력 있는 성능을 보여준다.

제안 방법

• 작업 경계 없는 연속 학습을 신경망 전문가의 디리클레 프로세스 혼합(DPM)에서의 온라인 변분 추론으로 형식화한다.
• 각 전문가는 p(y|x; φ^D)와 p(x; φ^G) 둘 다를 포함하여, p(x,y|z)를 공동으로 모델한다.
• 데이터가 도착할 때 책임도와 전문가 매개변수를 온라인으로 업데이트하기 위해 순차 변분 근사(SVA)를 사용한다.
• 들어오는 데이터가 기존 전문가 아래에서 낮은 책임도를 가질 때 새로운 전문가를 생성하여 모델을 확장하고, 확장 전에 충분한 데이터를 모으기 위해 단기 기억(STM) 버퍼를 활용한다.
• 무한대까지 확장은 완화하기 위해 측면 연결을 통한 전문가 간 매개변수 공유를 수행하고, 새로운 전문가의 그래디언트를 고정해 이전 지식을 보존한다.
• 주어진 입력에 대해 책임 전문가를 추론하기 위해 p(x; φ^G)와 p(z)로부터 파생된 게이팅 메커니즘을 포함하여 p(y|x)에 대한 전문가 혼합 예측을 가능하게 한다.

실험 결과

연구 질문

• RQ1 작업 경계가 자동으로 추가될 때를 자동으로 결정하는 확장 기반 접근으로 작업 경계 없는 연속 학습이 달성될 수 있는가?
• RQ2 작업 라벨 없이 적절한 전문가를 추론하고 파국적 망각을 피하는 게이팅 메커니즘은 어떻게 작동하는가?
• RQ3 단일 CN-DPM 프레임워크에서 판단적 및 생성적 작업을 모두 지원할 수 있는가?
• RQ4 비축된 데이터 스트림과 함께 다중 벤치마크에 스케일하는 베이지안 비파라메트릭 확장(DPM)이 가능한가?
• RQ5 CN-DPM 성능과 안정성을 향상시키는 실용적 전략(STM, 매개변수 공유, 온도 스케일링)은 무엇인가?

주요 결과

• CN-DPM은 Split-MNIST, MNIST-SVHN, Split-CIFAR10, Split-CIFAR100 시나리오의 작업 경계 없는 CL에서 경쟁력 있는 기준선보다 일관되게 우수한 성능을 보여준다.
• 모델은 망각을 낮은 수준으로 유지하며, 모든 작업을 학습한 후에도 작업별 분류기의 성능이 높게 유지된다.
• 확장 기반 성장으로 데이터 복잡성에 적응하며 필요에 따라 여러 전문가를 생성하여 새로운 분포를 포착한다.
• 게이팅 정확도(VAEs를 통해)는 개선의 여지가 있으며, 전문가 선택을 위한 밀도 추정의 향상이 잠재적 이점을 시사한다.
• 측면 연결을 통한 매개변수 공유와 새로운 전문가의 학습을 제어하는 방식은 모델의 팽창을 완화하고 작업 간 양의 전달을 가능하게 한다.
• CN-DPM은 재생만 사용하는 방법이 어려움을 겪는 대규모 작업 수 설정(Split-CIFAR100)에서도 강력한 성능을 보이며 재생으로 인한 과적합을 피한다.
• 이 접근법은 판별적(분류) 및 생성적(생성) 작업 모두에 적용되며 CN-DPM 프레임워크의 다재다능함을 보여준다.