[논문 리뷰] On Tiny Episodic Memories in Continual Learning

Arslan Chaudhry, Marcus Rohrbach외 5명|arXiv (Cornell University)|2019. 02. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 26인용 수 326

한 줄 요약

논문은 Experience Replay (ER)를 이용한 매우 작은 에피소드 기억이, 클래스당 단 하나의 예시라도, 기존의 전문화된 계속 학습 방법들을 상당히 능가하며, 반복적인 기억 훈련이 일반화를 향상시킬 수 있음을 보여준다.

ABSTRACT

In continual learning (CL), an agent learns from a stream of tasks leveraging prior experience to transfer knowledge to future tasks. It is an ideal framework to decrease the amount of supervision in the existing learning algorithms. But for a successful knowledge transfer, the learner needs to remember how to perform previous tasks. One way to endow the learner the ability to perform tasks seen in the past is to store a small memory, dubbed episodic memory, that stores few examples from previous tasks and then to replay these examples when training for future tasks. In this work, we empirically analyze the effectiveness of a very small episodic memory in a CL setup where each training example is only seen once. Surprisingly, across four rather different supervised learning benchmarks adapted to CL, a very simple baseline, that jointly trains on both examples from the current task as well as examples stored in the episodic memory, significantly outperforms specifically designed CL approaches with and without episodic memory. Interestingly, we find that repetitive training on even tiny memories of past tasks does not harm generalization, on the contrary, it improves it, with gains between 7\% and 17\% when the memory is populated with a single example per class.

연구 동기 및 목표

• 클루를 통해 메모리를 활용하여 이전 경험을 활용하고 새로운 작업으로 지식을 이전시키기 위한 지속 학습(CL)을 동기 부여한다.
• 단일 패스 데이터 설정에서 매우 작은 에피소드 기억의 효과를 정량적으로 평가한다.
• 다양한 벤치마크에 대해 ER과 정규화 기반 및 기억 기반 CL 방법들을 비교한다.
• 작고 반복적인 기억 훈련이 일반화에 해를 끼치지 않고 오히려 개선할 수 있는 이유를 분석한다.
• 작은 에피소드 기억을 채우기 위한 기억 작성 전략을 제안하고 평가한다.

제안 방법

• 데이터를 두 개의 작업 스트림으로 한 번의 패스로 처리한다: 교차 검증 작업과 평가 작업. 현재 작업 미니배치를 기억 미니배치와 연결하여 기억을 매 단계 업데이트하는 방식으로 Experience Replay (ER)로 학습한다. ER을 베이스라인과 비교: finetune, EWC, A-GEM, MER를 네 가지 벤치마크에서 평가한다. 저장소 전략: reservoir sampling, ring buffer, k-means, mean-of-features를 사용한 다양한 기억 작성 전략을 평가한다. 메모리 크기가 평균 정확도와 망각에 어떤 영향을 미치는지 데이터셋 간 차이를 분석한다. 데이터 의존적 효과를 통한 반복적 기억 훈련이 학습을 정규화하는 이유에 대한 통찰을 제공한다.

실험 결과

연구 질문

• RQ1 작고 에피소드 기억을 가진 Experience Replay가 다양한 벤치마크에서 기존의 CL 방법들을 능가하는가?
• RQ2 메모리 크기(클래스당 단 하나의 예시와 같이 매우 작아도)가 평균 정확도와 망각에 어떤 영향을 미치는가?
• RQ3 현재 작업 데이터와 함께 기억 예시로 학습하는 것이 일반화를 개선하지, 과적합을 초래하지 않는 이유는 무엇인가?
• RQ4 작은 기억을 가장 잘 활용하는 기억 작성 전략은 무엇이며, 하이브리드 접근 방식이 개별 전략을 능가할 수 있는가?
• RQ5 ER의 계산 오버헤드는 더 강한 CL baselines에 비해 어떤가?

주요 결과

• 작고 에피소드 기억을 가진 ER은 MNIST, CIFAR, CUB, 그리고 miniImageNet 전반에서 finetune, EWC, A-GEM, MER를 상당히 능가한다.
• 메모리에 클래스당 단일 예시가 포함될 때, 기존 최첨단 CL 방법들과 비교하여 7%에서 17%의 이득이 관찰된다.
• 메모리 예시들에 대한 반복적 학습은 일반화에 해를 끼치지 않으며, 이후 작업 학습 시 데이터 의존적 정규화로 작용할 수 있다.
• 저장소 샘플링(reservoir sampling)은 더 큰 기억에 강점을 보이고, 링 버퍼(ring buffer), k-means, 평균 특성(mean-of-features)은 클래스 균형을 보장하기 위해 극히 작은 기억에서 최상의 성능을 낸다.
• 일부 클래스로 표현이 저조한 경우 저장소에서 링 버퍼로 전환하는 하이브리드 기억 작성 전략이 강력한 성능과 우수한 계산 시간을 달성한다.
• ER은 일반적으로 fine-tuning에 비해 modest한 오버헤드만 필요하며, A-GEM이나 MER보다 비용이 저렴하다.