[논문 리뷰] Meta-Consolidation for Continual Learning

K J Joseph, Vineeth N Balasubramanian|arXiv (Cornell University)|2020. 10. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 87인용 수 27

한 줄 요약

MERLIN은 신경망 가중치가 잠재 공간 상의 작업 조건부 메타분포로부터 유래된다고 모델링함으로써 온라인 지속 학습을 위한 새로운 메타통합 프레임워크를 제안한다. 이는 작업별 사전 분포를 갖는 변분 오토인코더(VAE)를 통해 학습된다. MERLIN은 다섯 가지 벤치마크(MNIST, CIFAR-10, CIFAR-100, Mini-ImageNet)에서 기존의 GSS, GEM, iCaRL, EWC와 비교해 일관된 성능 향상을 보이며, 치명적 잊음 없이 모델 앙상블과 확장성을 구현한다.

ABSTRACT

The ability to continuously learn and adapt itself to new tasks, without losing grasp of already acquired knowledge is a hallmark of biological learning systems, which current deep learning systems fall short of. In this work, we present a novel methodology for continual learning called MERLIN: Meta-Consolidation for Continual Learning. We assume that weights of a neural network $\boldsymbol ψ$, for solving task $\boldsymbol t$, come from a meta-distribution $p(\boldsymbol{ψ|t})$. This meta-distribution is learned and consolidated incrementally. We operate in the challenging online continual learning setting, where a data point is seen by the model only once. Our experiments with continual learning benchmarks of MNIST, CIFAR-10, CIFAR-100 and Mini-ImageNet datasets show consistent improvement over five baselines, including a recent state-of-the-art, corroborating the promise of MERLIN.

연구 동기 및 목표

• 지속 학습에서 치명적 잊음을 해결하기 위해 신경망 가중치를 작업 조건부 메타분포에서 샘플링된 것으로 모델링한다.
• 각 데이터 포인트가 단 한 번만 관찰되는 온라인 지속 학습 환경을 제공하여 데이터에 대한 다중 통과를 방지한다.
• 모델 크기가 작업 수에 비례하지 않는 확장 가능한 방법을 개발한다. 이는 재생 또는 확장 기반 접근 방식과는 다릅니다.
• 클래스 인크리멘탈 및 도메인 인크리멘탈 학습을 모두 지원하며, 작업 인식 및 작업 무관 추론 설정 모두를 수용한다.
• 각 작업에 대해 학습된 메타분포에서 여러 가중치를 샘플링하여 추론 시 모델 앙상블을 가능하게 한다.

제안 방법

• MERLIN은 작업 t에 대한 신경망 가중치를 메타분포 p(ψ|t)에서 샘플링된 것으로 모델링하며, 이는 작업별 사전 분포를 갖는 변분 오토인코더(VAE)를 통해 학습된다.
• 잠재 코드 z에 대한 작업별로 학습 가능한 사전 분포 pθ(z|t)를 도입하며, 이는 새로운 작업이 도착함에 따라 점진적으로 갱신되어 메타통합을 가능하게 한다.
• VAE 인코더는 작업별 분류기의 가중치 벡터를 잠재 코드 z로 압축하고, 디코더는 가중치를 재구성함으로써 파라미터 생성과 지속 학습을 가능하게 한다.
• 추론 시, 메타분포에서 여러 모델 ψt ∼ p(ψ|t)를 샘플링하여 앙상블하여 정확도와 강건성을 향상시킨다.
• 이 방법은 온라인 지속 학습 환경에서 작동하며, 지식 유지를 위해 예시 버퍼(100~400개 샘플)를 사용한다.
• 아키텍처는 확장 가능하다: 추론 시에는 오직 작업별 사전 분포와 VAE 디코더만 필요하며, 이 둘 모두 작업 수에 비례하지 않는다.

실험 결과

연구 질문

• RQ1 잠재 분포를 통한 모델 파rameter의 메타공간에서의 학습은 가중치 공간 또는 데이터 공간 통합보다 지속 학습 성능을 향상시키는가?
• RQ2 온라인 단일 통과 환경에서 잠재 공간 상의 메타통합은 기존의 재생 기반 또는 정규화 기반 지속 학습 방법과 비교해 어떻게 성능을 냈는가?
• RQ3 제안된 방법은 아키텍처나 분포 재학습 없이도 클래스 인크리멘탈 및 도메인 인크리멘탈 학습을 모두 지원할 수 있는가?
• RQ4 학습된 메타분포에서 샘플링한 모델 앙상블이 지속 학습에서 성능과 강건성을 얼마나 향상시키는가?
• RQ5 작업 수가 증가함에 따라 이 방법은 어떻게 확장되며, 효율성과 낮은 메모리 사용량을 유지하는가?

주요 결과

• MERLIN은 Split MNIST, Permuted MNIST, Split CIFAR-10, Split CIFAR-100, Mini-ImageNet 등 다섯 가지 벤치마크에서 GSS(최근의 SOTA 방법)를 모두 초월한다.
• Split MNIST에서 chunk 크기가 100일 경우 MERLIN은 90.8%의 정확도를 달성했으며, GEM(77.4%)과 iCaRL(72.5%)보다 높은 성능을 보였다. 이는 메모리 크기가 100일 때의 결과이다.
• 2000개의 예시 버퍼를 사용할 경우, MERLIN은 CIFAR-10에서 88.4%의 정확도를 기록했으며, 동일한 버퍼 크기에서 GEM(80.5%)과 iCaRL(74.8%)보다 유의미하게 높은 성능을 보였다.
• 이 방법은 강력한 확장성을 보였다: GSS, GEM, EWC, iCaRL와 달리, 메타모델 크기는 8배 작다. 이는 전체 모델 가중치나 큰 예시를 저장하는 방식과 대비된다.
• 절단 실험 결과, VAE 인코딩을 위한 가중치 블록 크기를 증가시키면 정확도가 감소함을 확인했으며, 이는 더 큰 가중치 블록을 모델링하기 위해 더 복잡한 VAE 아키텍처가 필요함을 시사한다.
• 더 큰 예시 버퍼를 사용할수록 성능 향상이 뚜렷했으며, MERLIN는 GEM이나 iCaRL보다 더 나은 메모리 활용도를 보였다. 이는 메모리 자원을 더 효율적으로 활용함을 의미한다.