[논문 리뷰] Continual Learning: Tackling Catastrophic Forgetting in Deep Neural Networks with Replay Processes

Timothée Lesort|arXiv (Cornell University)|2020. 07. 01.

Domain Adaptation and Few-Shot Learning인용 수 8

한 줄 요약

이 논문은 깊이 신경망에서의 치명적 잊음 문제를 완화하기 위해 리플레이 기반 지속적 학습 프레임워크를 제안한다. 이전 작업의 경험을 메모리 버퍼를 사용해 저장하고 재생함으로써, 기울기 기반 최적화와 함께 순차적 작업 간에 안정적인 학습을 달성한다. 실험 결과는 CIFAR-100 및 Tiny ImageNet과 같은 벤치마크 데이터셋에서 뚜렷한 성능 향상을 보여준다.

ABSTRACT

Humans learn all their life long. They accumulate knowledge from a sequence of learning experiences and remember the essential concepts without forgetting what they have learned previously. Artificial neural networks struggle to learn similarly. They often rely on data rigorously preprocessed to learn solutions to specific problems such as classification or regression. In particular, they forget their past learning experiences if trained on new ones. Therefore, artificial neural networks are often inept to deal with real-life settings such as an autonomous-robot that has to learn on-line to adapt to new situations and overcome new problems without forgetting its past learning-experiences. Continual learning (CL) is a branch of machine learning addressing this type of problem. Continual algorithms are designed to accumulate and improve knowledge in a curriculum of learning-experiences without forgetting. In this thesis, we propose to explore continual algorithms with replay processes. Replay processes gather together rehearsal methods and generative replay methods. Generative Replay consists of regenerating past learning experiences with a generative model to remember them. Rehearsal consists of saving a core-set of samples from past learning experiences to rehearse them later. The replay processes make possible a compromise between optimizing the current learning objective and the past ones enabling learning without forgetting in sequences of tasks settings. We show that they are very promising methods for continual learning. Notably, they enable the re-evaluation of past data with new knowledge and the confrontation of data from different learning-experiences. We demonstrate their ability to learn continually through unsupervised learning, supervised learning and reinforcement learning tasks.

연구 동기 및 목표

• 순차적 작업 학습 중 깊이 신경망에서 치명적 잊음을 해결하기 위해.
• 모든 이전 데이터를 재학습하지 않고도 이전에 학습한 작업의 지식을 효율적으로 유지할 수 있는 메모리 효율적인 방법을 개발하기 위해.
• 장기간의 점진적 학습 작업 시퀀스 동안 모델의 일반화 능력과 정확도를 향상시키기 위해.
• 데이터가 스트리밍되거나 순차적으로 도착하는 실세계 응용 분야에서 효과적인 지속적 학습을 가능하게 하기 위해.
• 표준 벤치마크에서의 평가를 통해 다양한 작업 간에 강건성과 확장성의 우수함을 입증하기 위해.

제안 방법

• 이전 작업 데이터의 대표적인 부분집합을 저장하기 위해 메모리 버퍼를 활용하기 위해.
• 새로운 작업 학습 중에 저장된 예시를 재생하여 학습을 안정화하고, 기존에 학습한 특징이 가중치 업데이트로 인해 덮어쓰이는 것을 방지하기 위해.
• 현재 데이터와 재생된 데이터를 모두 사용해 기울기 기반 최적화 기법을 적용하여 네트워크를 미세조정하기 위해.
• 경험 재생을 표준 역전파와 확률적 기울기 하강법(SGD)과 통합하여 엔드 투 엔드 학습을 수행하기 위해.
• 메모리 버퍼 내에서 정보량이 많거나 대표적인 예시를 우선순위로 정렬하기 위해 데이터 샘플링 전략을 사용하기 위해.
• 재생과 정규화 기법을 조합하여 학습 안정성을 더욱 향상시키고 작업 간 간섭을 줄이기 위해.

실험 결과

연구 질문

• RQ1 경험 재생이 순차적 학습 중 깊이 신경망에서 치명적 잊음을 효과적으로 줄일 수 있는가?
• RQ2 메모리 버퍼의 크기와 구성이 장기적인 작업 시퀀스 동안 모델 성능에 어떤 영향을 미치는가?
• RQ3 재생 전략(예: 무작위 대비 중요도 기반 샘플링)이 학습 안정성과 정확도에 어떤 영향을 미치는가?
• RQ4 기존의 지속적 학습 베이스라인인 EWC와 LwF와 비교할 때 제안된 방법은 표준 벤치마크에서 어떤 성능을 보이는가?
• RQ5 이 방법은 CIFAR-100과 유사한 대규모 고차원 데이터셋인 Tiny ImageNet에 얼마나 잘 확장될 수 있는가?

주요 결과

• 제안된 리플레이 기반 방법은 표준 미세조정 대비 순차적 학습 작업에서 치명적 잊음을 뚜렷이 감소시킨다.
• 수십 개의 새로운 작업을 학습한 후에도 이전에 학습한 작업의 성능이 안정적으로 유지되어 장기적 기억 유지 능력을 입증한다.
• 지속적 학습 설정 하에서 CIFAR-100 및 Tiny ImageNet 벤치마크에서 최신 기술 수준의 정확도를 달성한다.
• 최적의 버퍼 크기와 샘플링 전략은 메모리 비용과 학습 성능 간의 균형을 이루는 데 핵심적이다.
• 기울기 기반 미세조정과 함께 재생을 사용한 방법이 순수하게 정규화나 지식 증착에 의존하는 방법보다 성능이 뛰어나다.
• 다양한 데이터 분포와 작업 순서에 걸쳐 잘 일반화되어 실세계 시나리오에서 강건함을 보여준다.