[논문 리뷰] Continual Learning with Fully Probabilistic Models

Benedikt Pfülb, Alexander Gepperth외 1명|arXiv (Cornell University)|2021. 04. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 34인용 수 4

한 줄 요약

이 논문은 가우시안 믹스처 모델(GMM)을 생성기이자 분류기로 사용하는 완전히 확률적인 지속적 학습 방법인 가우시안 믹스처 리플레이(GMR)를 제안한다. GMR은 밀도 추정, 조건부 샘플링 및 MNIST, 패션MNIST, 데바나가리 기준점에서 최고 성능을 기록하며 낮은 메모리 및 시간 복잡도를 구현한다. 이는 가짜 재현(pseudo-rehearsal)을 통해 과거 데이터 저장 없이 작동한다.

ABSTRACT

We present an approach for continual learning (CL) that is based on fully probabilistic (or generative) models of machine learning. In contrast to, e.g., GANs that are "generative" in the sense that they can generate samples, fully probabilistic models aim at modeling the data distribution directly. Consequently, they provide functionalities that are highly relevant for continual learning, such as density estimation (outlier detection) and sample generation. As a concrete realization of generative continual learning, we propose Gaussian Mixture Replay (GMR). GMR is a pseudo-rehearsal approach using a Gaussian Mixture Model (GMM) instance for both generator and classifier functionalities. Relying on the MNIST, FashionMNIST and Devanagari benchmarks, we first demonstrate unsupervised task boundary detection by GMM density estimation, which we also use to reject untypical generated samples. In addition, we show that GMR is capable of class-conditional sampling in the way of a cGAN. Lastly, we verify that GMR, despite its simple structure, achieves state-of-the-art performance on common class-incremental learning problems at very competitive time and memory complexity.

연구 동기 및 목표

• 밀도 추정과 샘플 생성을 지원하는 완전히 확률적인 모델을 사용해 지속적 학습에서 치명적인 잊음(catastrophic forgetting) 문제를 해결한다.
• 과거 작업의 샘플을 GMM를 사용해 생성함으로써 데이터 저장을 피하는 가짜 재현 접근법을 개발한다.
• GMM 밀도 추정을 통해 작업 경계를 비지도로 감지할 수 있도록 한다.
• 최소한의 메모리와 계산 오버헤드로 높은 지속적 학습 성능을 달성한다.
• 과거 데이터 접근 불가(뒤돌보기 금지) 및 미래 지식 없음(앞서보기 금지)과 같은 실제 세계의 제약 조건을 준수한다.

제안 방법

• GMR은 학습 중 과거 작업의 시뮬레이션 샘플을 생성하기 위해 가우시안 믹스처 모델(GMM)을 생성기로 사용한다.
• 동일한 GMM이 샘플 생성과 밀도 추정에 모두 사용되어 분포 외 입력을 탐지하고 작업 경계를 식별한다.
• 분류기는 GMM과 함께 훈련되며, GMM의 확률적 구조를 활용해 불확실성 인식 학습을 수행한다.
• GMM에서 대각 행렬 공분산을 사용하여 낮은 메모리 사용을 유지하고 전체 공분산 행렬을 피한다.
• 조건부 샘플링은 클래스별 구성 요소 가중치를 사용해 GMM에서 샘플을 추출함으로써 cGAN 유사한 생성을 가능하게 한다.
• 하이퍼파ram터는 하나의 값—GMM 구성 요소 수 K—로 최소화되어, 미래 데이터 접근 없이도 안정적이고 확장 가능한 훈련이 가능하다.

실험 결과

연구 질문

• RQ1 GMM과 같은 완전히 확률적인 모델이 과거 데이터 저장 없이 가짜 재현을 통해 지속적 학습을 효과적으로 지원할 수 있는가?
• RQ2 지속적 학습 환경에서 GMM 밀도 추정은 작업 경계를 얼마나 잘 감지하고 분포 외 샘플을 거부할 수 있는가?
• RQ3 GMR은 최소한의 메모리 및 시간 복잡도로 표준 기준점에서 최고 수준의 성능을 얼마나 달성할 수 있는가?
• RQ4 GMR은 과거 데이터 접근 불가 또는 미래 하이퍼파ram터 튜닝이 불가능한 실제 세계의 지속적 학습 제약 조건을 준수하는가?
• RQ5 GMM의 손실 함수 제약 조건 하에 GMR은 모드 붕괴 없이 고품질의 조건부 샘플을 생성할 수 있는가?

주요 결과

• GMR은 MNIST, 패션MNIST, 데바나가리와 같은 클래스 증분 학습 기준점에서 기존 많은 방법들을 능가하는 최고 수준의 성능을 달성한다.
• GMM 밀도 추정에서의 급격한 변화를 식별함으로써 비지도로 작업 경계를 감지하여 자동으로 하위 작업 세그먼트를 생성한다.
• 단순한 구성 요소 가중치 조정을 통해 안정적으로 고품질의 조건부 샘플을 생성하며, GAN에서 관찰되는 모드 붕괴 현상이 없다.
• 메모리 사용이 극히 적다: d=1000, K=100, 10개 클래스일 경우 모델은 오직 201,010개의 파라미터만 필요하며, DNN 기반 생성 재현 모델보다 크게 적다.
• 실제 세계의 제약 조건을 준수한다: 정지 또는 하이퍼파ram터 튜닝을 위해 과거 데이터 접근이 필요하지 않으며, 오직 하나의 자유 파라미터(K)만 필요하다.
• 지속적 학습에서 뛰어난 성능를 보이지만, 비지속적(기본) 분류 작업에서는 성능이 열등하여 지속적 학습과 표준 학습 간의 성능 상충 관계가 존재함을 시사한다.