[논문 리뷰] Learning to Learn without Forgetting by Maximizing Transfer and Minimizing Interference

Matthew Riemer, Ignacio Cases외 5명|arXiv (Cornell University)|2018. 10. 28.

Domain Adaptation and Few-Shot Learning인용 수 345

한 줄 요약

이 논문은 Meta-Experience Replay (MER)를 도입합니다. MER은 경험 재생과 최적화 기반 메타 학습을 결합하여 감독 학습 및 강화 학습에서 순차 학습의 앞으로의 전달(forward transfer)을 극대화하고 간섭을 최소화하며, 태스크 레이블을 필요로 하지 않습니다.

ABSTRACT

Lack of performance when it comes to continual learning over non-stationary distributions of data remains a major challenge in scaling neural network learning to more human realistic settings. In this work we propose a new conceptualization of the continual learning problem in terms of a temporally symmetric trade-off between transfer and interference that can be optimized by enforcing gradient alignment across examples. We then propose a new algorithm, Meta-Experience Replay (MER), that directly exploits this view by combining experience replay with optimization based meta-learning. This method learns parameters that make interference based on future gradients less likely and transfer based on future gradients more likely. We conduct experiments across continual lifelong supervised learning benchmarks and non-stationary reinforcement learning environments demonstrating that our approach consistently outperforms recently proposed baselines for continual learning. Our experiments show that the gap between the performance of MER and baseline algorithms grows both as the environment gets more non-stationary and as the fraction of the total experiences stored gets smaller.

연구 동기 및 목표

• 연속 학습을 앞으로의 시계 방향 및 뒤로의 시계 방향 모두에서 시간적으로 대칭적인 전달–간섭 관점으로 동기를 부여한다.
• 전달을 선호하고 간섭을 줄이기 위해 기울기 역학을 조정하도록 학습하는 메타 학습 기반 알고리즘을 개발한다.
• 비정정적 스트림에서 관측 데이터 분포의 정상적 분포를 근사하기 위해 경험 재생을 활용한다.
• 다양한 연속 학습 벤치마크와 비정정성 강화 학습 환경에서 MER를 평가하여 견고한 성능 향상을 보인다.

제안 방법

• 전달과 간섭을 예제 쌍 간의 기울기 정렬(gradient alignment)으로 정의한다.
• 무작위 데이터 포인트 간의 높은 기울기 내적을 장려하여 공유 유용한 표현을 촉진하는 목표를 제안한다(Equation 4).
• 메모리 샘플에 대해 Reptile 스타일의 최적화를 하는 MER(Algorithm 1)를 만들어 경험 재생을 최적화하고 최적화 기반 메타 학습과 통합한다.
• Appendix F에 있는 기억 버퍼를 유지하여 관찰된 데이터의 정상 분포를 근사하도록 저장소 샘플링(reservoir sampling)을 사용한다.
• 두 번째 도함수 계산을 피하고 온라인 연속 학습을 가능하게 하기 위해 1차 메타 학습(Reptile)을 채택한다(Equations 6–7).

실험 결과

연구 질문

• RQ1 시간적으로 대칭적인 전달–간섭 프레임워크가 비정정 분포에서의 연속 학습을 개선할 수 있는가?
• RQ2 META-Experience Replay(MER)가 과거 및 미래 데이터 간의 전달을 최대화하면서 간섭을 최소화하는가?
• RQ3 MER는 기존 기준선(EWC, GEM, Online 등)과 감독 학습 연속 평생 학습 벤치마크에서 어떻게 비교되는가?
• RQ4 작은 버퍼 등 메모리 제약과 점점 더 비정정적인 강화 학습 환경에 대해 MER가 견고한가?

주요 결과

• MER는 감독 학습 연속 평생 학습 벤치마크 MNIST Rotations 및 MNIST Permutations에서 강력한 기준선(GEM, EWC, Online 등)을 지속적으로 능가한다.
• MER는 비정정성이 증가함에 따라 전달과 간섭 사이의 균형을 더 잘 유지하고 더 높은 유지 정확도를 얻는다.
• 메모리 버퍼가 작을 때도 GEM보다 더 큰 이득으로 MER의 성능이 향상되며, GEM이 훨씬 더 큰 버퍼를 사용할 때도 우수한 성능을 보인다.
• 점점 더 비정정적 설정(Many Permutations, Omniglot)에서 MER는 기준선에 비해 유지 및 학습 속도가 크게 향상된다.
• 비정정 비슷한 상태의 강화 학습 실험에서 DQN과의 비교에서 MER는 기억 소실을 줄이고 태스크 간 성능을 향상시킨다.