[논문 리뷰] Energy-Based Models for Continual Learning

Shuang Li, Yilun Du외 2명|arXiv (Cornell University)|2020. 11. 24.

Domain Adaptation and Few-Shot Learning참고 문헌 64인용 수 6

한 줄 요약

이 논문은 재학습 또는 저장된 데이터가 필요 없이 치명적 기억 상실을 방지하는 새로운 접근법으로 에너지 기반 모델(Energy-Based Models, EBMs)을 제안한다. 이는 클래스 레이블 쌍에 대해 비정규화된 에너지 함수를 학습하고, 관련 특징만 선택적으로 업데이트하는 대비 분산 대비 목표를 사용한다. EBMs는 재학습 없이도 클래스 증가형 및 경계 없는 지속적 학습 벤치마크에서 기존 방법들을 뛰어넘는 성능을 보이며, 데이터 재현 또는 외부 메모리가 필요로 하지 않는다.

ABSTRACT

We motivate Energy-Based Models (EBMs) as a promising model class for continual learning problems. Instead of tackling continual learning via the use of external memory, growing models, or regularization, EBMs change the underlying training objective to cause less interference with previously learned information. Our proposed version of EBMs for continual learning is simple, efficient, and outperforms baseline methods by a large margin on several benchmarks. Moreover, our proposed contrastive divergence-based training objective can be combined with other continual learning methods, resulting in substantial boosts in their performance. We further show that EBMs are adaptable to a more general continual learning setting where the data distribution changes without the notion of explicitly delineated tasks. These observations point towards EBMs as a useful building block for future continual learning methods.

연구 동기 및 목표

• 분류를 확률적 분류가 아닌 에너지 기반 학습으로 재고함으로써 지속적 학습에서 치명적 기억 상실 문제를 해결한다.
• 조건부 이득을 통해 특정 입력 특징에 집중함으로써 이전에 학습한 지식에 간섭을 최소화하는 학습 목표를 개발한다.
• 특수한 데이터 재학습 또는 외부 메모리 없이도 경계 인식형 및 경계 없는 설정 모두에서 효과적인 지속적 학습을 가능하게 한다. 특히 데이터 재학습 없이 클래스 증가 시나리오에서 유의미하다.
• 기존 지속적 학습 방법을 향상시킬 수 있는 단순하고 효율적이며 광범위하게 적용 가능한 학습 프레임워크를 제공한다.
• EBMs가 작업 경계 정보에 의존하지 않고도 동적으로 증가하는 클래스와 분포 변화를 자연스럽게 처리할 수 있음을 보여준다.

제안 방법

• 정확한 클래스-레이블 쌍에 낮은 에너지를 할당하고 잘못된 쌍에 높은 에너지를 할당하는 에너지 함수를 학습함으로써 분류 문제를 에너지 기반 학습으로 재정의하고, 대비 분산 기반 학습 목표를 사용한다.
• 조건부 이득 메커니즘을 도입하여 주어진 클래스에 관련된 입력 특징에 집중할 수 있도록 하는 어텐션 필터 역할을 한다.
• 진짜 레이블의 에너지를 최소화하고, 부정적 레이블의 에너지를 최대화하는 웨이크-슬립 과정을 통해 모델을 학습함으로써 이전 지식에 대한 간섭을 줄인다.
• 기존 네트워크 전체를 재학습하지 않고도 새로운 조건부 이득을 학습함으로써 모델을 동적으로 새로운 클래스에 맞게 확장한다.
• 표준 클래스 증가형 지속적 학습과 더 어려운 경계 없는 지속적 학습(작업 경계가 명시적으로 정의되어 있지 않은 경우)에 모두 EBM 프레임워크를 적용한다.
• 기존 정규화 기법(예: Online EWC, SI)과 EBM 목표를 조합하여 지속적 학습 환경에서 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 외부 메모리나 모델 확장 없이도 EBMs가 지속적 학습에서 치명적 기억 상실을 줄일 수 있는가?
• RQ2 재학습이나 저장된 데이터 없이 EBMs가 클래스 증가형 학습에서 얼마나 잘 성능을 내는가?
• RQ3 작업 경계가 명시적으로 정의되어 있지 않은 경계 없는 지속적 학습 환경에 EBMs를 효과적으로 적용할 수 있는가?
• RQ4 기존 정규화 기법과 조합했을 때 대비 분산 기반 EBM 목표가 성능 향상에 기여하는가?
• RQ5 EBMs의 조건부 이득 메커니즘이 이전에 학습한 지식에 간섭을 어떻게 줄이는가?

주요 결과

• 경계 없는 설정에서 스플릿 MNIST에서 EBMs는 평균 테스트 정확도 81.78% ± 1.22를 달성하여 Online EWC(39.62%)와 SI(28.79%)를 크게 앞서간다.
• 퍼미uted MNIST에서는 EBMs가 92.35% ± 0.11의 성능을 기록했고, Online EWC(41.37%)와 SI(35.71%)에 비해 뛰어나다.
• CIFAR-10에서는 EBMs가 49.47% ± 1.25의 성능을 기록했으며, 경계 없는 설정에서 Online EWC(22.53%)와 SI(26.26%)를 모두 앞서간다.
• CIFAR-100에서는 EBMs가 34.39% ± 0.24의 성능을 기록했고, Online EWC(9.57%)와 SI(10.42%)를 크게 뛰어넘었다.
• EBMs는 재학습 없이도 다양한 벤치마크와 설정에서 강력한 일반화 성능을 보이며, 특히 클래스 증가형 학습에서 뛰어난 성능을 발휘한다.
• EBM 목표는 기존 방법(예: Online EWC, SI)과 조합 가능하며, 경계 인식형 및 경계 없는 설정 모두에서 성능 향상이著명하다.