[논문 리뷰] Learning an evolved mixture model for task-free continual learning

Fei Ye, Adrian G. Borş|arXiv (Cornell University)|2022. 07. 11.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 Hilbert Schmidt Independence Criterion (HSIC)를 사용하여 데이터 분포 변화를 탐지하고 전문가 추가를 유도함으로써 아키텍처를 동적으로 확장하는 작업 경계 없음 지속적 학습 프레임워크인 Evolved Mixture Model (EEM)을 제안한다. VAE 기반 전문가와 두 가지 드롭아웃 메커니즘을 결합하여 메모리 관리와 치명적 잊음 방지를 달성하며, 작업 경계 없이 MNIST, CIFAR, ImageNet 벤치마크에서 최신 기술 성능을 달성한다.

ABSTRACT

Recently, continual learning (CL) has gained significant interest because it enables deep learning models to acquire new knowledge without forgetting previously learnt information. However, most existing works require knowing the task identities and boundaries, which is not realistic in a real context. In this paper, we address a more challenging and realistic setting in CL, namely the Task-Free Continual Learning (TFCL) in which a model is trained on non-stationary data streams with no explicit task information. To address TFCL, we introduce an evolved mixture model whose network architecture is dynamically expanded to adapt to the data distribution shift. We implement this expansion mechanism by evaluating the probability distance between the knowledge stored in each mixture model component and the current memory buffer using the Hilbert Schmidt Independence Criterion (HSIC). We further introduce two simple dropout mechanisms to selectively remove stored examples in order to avoid memory overload while preserving memory diversity. Empirical results demonstrate that the proposed approach achieves excellent performance.

연구 동기 및 목표

• 지속적 학습에서 작업 정체성 또는 경계가 없는 현실적이지만 미처 다루지 않은 설정인 일생 동안의 인공지능 환경에서 도전 과제를 해결하기 위해.
• 메모리 기반 지속적 학습에서의 메모리 과부하와 악성 역전파 전파 문제를 해결하기 위해 선택적 샘플 드롭아웃 메커니즘을 도입하기 위해.
• 작업 레이블에 의존하지 않고 데이터 분포 변화에 대응하여 모델을 동적으로 확장할 수 있도록 하기 위해.
• 비정상적인 데이터 스트림에서 지식을 유지하는 확장 가능하고 무한 용량의 지속적 학습 시스템을 개발하기 위해.
• 클래스 레이블이 없는 환경에서 혼합 모델 확장을 위한 비지도 신호로서 HSIC의 효과를 입증하기 위해.

제안 방법

• 모델은 표현 학습을 위한 VAE 기반 전문가 집합과 예측을 위한 분류기로 구성되어 동적 앙상블 아키텍처를 형성한다.
• 새로운 확장 메커니즘은 각 전문가의 지식과 현재 메모리 버퍼 간의 HSIC를 평가하여 분포 변화를 탐지하고 새로운 전문가 생성을 유도한다.
• 두 가지 드롭아웃 메커니즘은 메모리 버퍼에서 저장된 예시를 선택적으로 제거하여 과부하를 방지하고 다양성을 유지한다.
• 확장 임계값은 모델 복잡도와 성능 간 균형을 맞추는 데 사용되는 하이퍼파rameter λ로 제어된다.
• 분류기는 단일 스텝당 10개의 배치 샘플로 업데이트되며, 이전 데이터는 모두 접근 불가능하여 실시간 스트리밍 환경을 시뮬레이션한다.
• 프레임워크는 작업 경계 없이 엔드 투 엔드로 훈련되며, 오직 HSIC 기반 확장 신호와 메모리 정규화에 의존한다.

Fig. 1 : Expansion and dropout mechanism in the proposed EMM model. We first infer the latent variables using each expert and then use HSIC to evaluate the discrepancy between each expert and the current memory. Then we perform either the mixture expansion or the memory buffer data dropout mechanism

실험 결과

연구 질문

• RQ1 작업 레이블 없이 데이터 분포 변화에 대응하여 모델의 용량을 동적으로 확장할 수 있는가?
• RQ2 작업 경계 없는 설정에서 HSIC 기준이 모델 확장을 유도하는 비지도 신호로 얼마나 효과적인가?
• RQ3 선택적 메모리 드롭아웃 메커니즘은 지식 다양성을 유지하면서 메모리 과부하를 방지할 수 있는가?
• RQ4 제안된 Evolved Mixture Model은 기존의 동적 확장 및 메모리 기반 접근 방식을 초월하는가?
• RQ5 모델은 MINI-ImageNet과 같은 대규모, 긴 꼬리형 데이터 스트림에 어떻게 스케일링되는가?

주요 결과

• Split MNIST에서 EEM-SW는 96.79%의 정확도를 기록하여 CoPE(93.94%)와 CNDPM(93.23%)를 능가했다.
• Split CIFAR10에서 EEM-SW는 58.81%의 정확도를 달성하여 CoPE(48.92%)와 CNDPM(45.21%)를 뛰어넘었다.
• Split CIFAR100에서 EEM-SW는 22.33%의 정확도를 기록하여 CoPE(21.62%)와 CNDPM(20.10%)를 초월했다.
• 대규모 Split MImageNet 벤치마크에서 EEM-SW는 28.90%의 정확도를 기록하여 ER a(25.92%)와 MIR(25.21%)를 능가했다.
• 절단 실험 결과, 최적점 이상으로 HSIC 임계값 λ를 증가시키면 모델 복잡도는 높아지지만 정확도 향상에 한계가 있음을 확인했다.
• 제안된 드롭아웃 메커니즘은 모든 벤치마크에서 높은 성능를 유지하면서도 메모리 과부하를 효과적으로 감소시켰다.

Fig. 2 : Evaluation of the EMM-SW model when training on Split MNIST, when varying threshold $\lambda$ in Eq. ( 6 ).