[논문 리뷰] Learning to Learn without Forgetting by Maximizing Transfer and Minimizing Interference

Matthew Riemer, Ignacio Cases외 5명|arXiv (Cornell University)|2018. 10. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 53인용 수 101

한 줄 요약

MER (Meta-Experience Replay)는 continual learning에서 기울기 기반의 전이(gradient-based transfer)를 최대화하고 간섭을 최소화하기 위해 experience replay와 optimization-based meta-learning을 결합하여, supervised 및 reinforcement learning 과제 전반에서 GEM, EWC와 같은 베이스라인을 능가하며, 특히 작은 버퍼에서 강건한 성능을 보인다.

ABSTRACT

Lack of performance when it comes to continual learning over non-stationary distributions of data remains a major challenge in scaling neural network learning to more human realistic settings. In this work we propose a new conceptualization of the continual learning problem in terms of a temporally symmetric trade-off between transfer and interference that can be optimized by enforcing gradient alignment across examples. We then propose a new algorithm, Meta-Experience Replay (MER), that directly exploits this view by combining experience replay with optimization based meta-learning. This method learns parameters that make interference based on future gradients less likely and transfer based on future gradients more likely. We conduct experiments across continual lifelong supervised learning benchmarks and non-stationary reinforcement learning environments demonstrating that our approach consistently outperforms recently proposed baselines for continual learning. Our experiments show that the gap between the performance of MER and baseline algorithms grows both as the environment gets more non-stationary and as the fraction of the total experiences stored gets smaller.

연구 동기 및 목표

• 비정상(non-stationary) 데이터 하에서의 계속 학습을 동기화하고 시간적으로 대칭적인 전이-간섭 프레임워크를 정의한다.
• 학습 역학을 안내하기 위한 기울기 정렬 문제로서의 전이-간섭 트레이드를 소개한다.
• 미리 학습된 경험 재생과 meta-learning을 통합하여 미래의 전이와 간섭을 최적화하는 Meta-Experience Replay (MER) 알고리즘을 제안한다.
• 감독 학습 지속적 학습 벤치마크와 비정상적 강화 학습 환경에서 MER의 효과를 보여준다.

제안 방법

• 전이와 간섭을 포착하기 위해 예제 쌍 간의 기울기 내적(점곱)을 정의한다.
• 양의 기울기 정렬을 촉진하는 목적함수(식 4)를 형식화한다.
• 온라인으로 비정상 데이터에 대해 최적화할 수 있도록 1차 메타-Learning(Reptile) 업데이트와 경험 재생을 결합하여 MER를 개발한다.
• 저장소 샘플을 유지하여 과거 데이터의 정상성을 근사하고, 학습 중에 현재 예제와 버퍼 샘플을 교차시키는 방법으로 M을 구성한다.
• 계산을 현실적으로 유지하기 위해 2차 도함수를 1차 테일러 전개로 근사한다.
• 온라인 SGD 유사 업데이트에서 MER를 효율적으로 구현하기 위한 변형과 구현 세부사항을 설명한다.

실험 결과

연구 질문

• RQ1 MER가 Online, EWC, GEM과 같은 베이스라인과 비교하여 감독 학습 지속적 학습 벤치마크(MNIST Rotations 및 MNIST Permutations)에서 유지된 정확도를 향상시키는가?
• RQ2 특히 아주 작은 버퍼일 때도 메모리 버퍼 크기의 함수로서 MER의 성능은 어떻게 달라지는가?
• RQ3 표준 벤치마크를 넘어 점점 더 비정상적 lifelong 학습 설정을 MER가 처리할 수 있는가(Omniglot 및 Many Permutations 포함)?
• RQ4 DQN과 결합된 비정상적 환경에서 MER가 강화 학습 지속 학습 성능을 향상시키는가(Catcher 및 Flappy Bird)?
• RQ5 학습 중 기울기 점곱 분포(즉, 기울기 정렬)에 미치는 MER의 영향은 무엇인가?

주요 결과

• MER는 감독 학습 지속적 학습 벤치마크(MNIST Rotations 및 MNIST Permutations)에서 유지된 정확도 향상을 통해 일관되게 베이스라인을 능가한다.
• 저장소 버퍼가 작아질수록 MER의 이득이 커지며, 특히 에피소딕 저장이 제한된 경우에 강한 개선을 보인다.
• MER은 더 도전적인 비정상 벤치마크(Many Permutations 및 Omniglot)에서도 강력한 결과를 달성하며 종종 베이스라인을 상당히 능가한다.
• 지속적 강화 학습 과제(Catcher 및 Flappy Bird)에서 DQN과 MER의 조합은 표준 DQN에 비해 전반적인 성능이 더 좋고 망각이 적다.
• 분석 결과 MER가 기울기 점곱 분포를 변화시켜 기울기 정렬이 향상되었음을 보여주며, 이는 전이 향상과 간섭 감소를 뒷받침한다.