[논문 리뷰] Online Continual Learning with Maximally Interfered Retrieval

Rahaf Aljundi, Lucas Caccia외 5명|arXiv (Cornell University)|2019. 08. 11.

Domain Adaptation and Few-Shot Learning참고 문헌 38인용 수 75

한 줄 요약

논문은 온라인 단일 패스 지속적 학습에서 최대 간섭 재생(MIR)을 도입합니다. 다가오는 매개변수 업데이트로 가장 손상되는 재생 샘플을 선택하여 망각을 줄입니다.

ABSTRACT

Continual learning, the setting where a learning agent is faced with a never ending stream of data, continues to be a great challenge for modern machine learning systems. In particular the online or "single-pass through the data" setting has gained attention recently as a natural setting that is difficult to tackle. Methods based on replay, either generative or from a stored memory, have been shown to be effective approaches for continual learning, matching or exceeding the state of the art in a number of standard benchmarks. These approaches typically rely on randomly selecting samples from the replay memory or from a generative model, which is suboptimal. In this work, we consider a controlled sampling of memories for replay. We retrieve the samples which are most interfered, i.e. whose prediction will be most negatively impacted by the foreseen parameters update. We show a formulation for this sampling criterion in both the generative replay and the experience replay setting, producing consistent gains in performance and greatly reduced forgetting. We release an implementation of our method at https://github.com/optimass/Maximally_Interfered_Retrieval.

연구 동기 및 목표

• 온라인 단일 패스 지속적 학습에서의 카타스트로픽 망각 해결.
• 다음 업데이트에 의해 가장 영향을 받는 기억을 선택하여 재생 품질 향상(최대 간섭).
• 경험 재생과 생성 재생 설정 모두에서 MIR의 이점 시연.
• 메모리를 확장 가능하게 압축하기 위해 오토인코더를 사용하는 하이브리드 접근법 탐색.

제안 방법

• MIR와 함께 기억 기반 리허설 정의: 들어오는 배치의 추정 매개변수 업데이트를 적용한 후 손실이 가장 많이 증가하는 버퍼의 top-k 기억을 검색(MI-1/MI-2 기준).
• 추정 업데이트 전후의 손실 차이를 최대화하기 위해 잠재 공간 Z에서 검색하는 정규화된 목적(Eq. 1 및 Eq. 2)을 사용하여 GENERATIVE REPLAY에 MIR 확장.
• 컴퓨트를 관리하기 위한 리저버 샘플링과 다양성 촉진 전선(C 샘플을 B를 선택하기 전에) 전략을 사용하는 간단한 버퍼링.
• 생성 MIR의 경우 우선/현재 모델의 예측으로 진짜 라벨 y*를 추정하고 KL 발산을 간섭 프록시로 사용; 선택적으로 엔트로피 정규화를 적용하여 확신 있는 생성을 촉진(Eq. 2).
• 하이브리드 접근법 제시: 메모리를 오토인코더로 압축하여 더 큰 버퍼를 가능하게 하고 잠재 공간에서 MIR을 수행한 뒤 실제 샘플에 대한 최근접 이웃 재구성으로 이어짐.

실험 결과

연구 질문

• RQ1 다가오는 업데이트로 최대 간섭되는 학습 샘플이 무작위 재생보다 망각을 더 효과적으로 줄일 수 있는가?
• RQ2 MIR 기반 재생 전략이 경험 재생 및 생성 재생 설정에서 온라인 지속 학습 성능을 개선하는가?
• RQ3 하이브리드 오토인코더 기반 MIR이 성능을 희생하지 않으면서 확장 가능한 기억 사용을 가능하게 하는가?

주요 결과

• ER-MIR은 MNIST 분할 및 Permuted MNIST에서 표준 ER 대비 정확도를 높이고 망각을 감소시킵니다.
• 더 큰 메모리 크기를 가진 CIFAR-10에서 ER-MIR은 온라인 제약하에 ER 및 GEM, iCarl 같은 몇몇 벤치마크보다 정확도와 망각 측면에서 더 나은 성능을 보입니다.
• GEN-MIR은 MNIST Split 및 Permuted MNIST에서 GEN(무작위/재생 기반)보다 생성기 손실과 정확도를 개선하며 엔트로피 정규화 항이 핵심 역할을 합니다.
• 잠재 공간 MIR과 실제 재구성 정렬을 포함한 하이브드 AE-MIR 접근법은 망각 트레이드오프를 더 잘하고 더 큰 압축 기억으로부터 이점을 얻습니다.
• 들어오는 배치당 업데이트 수를 늘리면 일반적으로 MIR 기반 방법의 성능이 향상됩니다.