[논문 리뷰] La-MAML: Look-ahead Meta Learning for Continual Learning

Gunshi Gupta, Karmesh Yadav외 1명|arXiv (Cornell University)|2020. 07. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 30인용 수 34

한 줄 요약

La-MAML은 기억 상실을 줄이고 전이 성능을 향상시키기 위해 재생 버퍼로 매 매개변수 학습률을 조절하는 연속 학습용 온라인 메타 러닝 알고리즘이다.

ABSTRACT

The continual learning problem involves training models with limited capacity to perform well on a set of an unknown number of sequentially arriving tasks. While meta-learning shows great potential for reducing interference between old and new tasks, the current training procedures tend to be either slow or offline, and sensitive to many hyper-parameters. In this work, we propose Look-ahead MAML (La-MAML), a fast optimisation-based meta-learning algorithm for online-continual learning, aided by a small episodic memory. Our proposed modulation of per-parameter learning rates in our meta-learning update allows us to draw connections to prior work on hypergradients and meta-descent. This provides a more flexible and efficient way to mitigate catastrophic forgetting compared to conventional prior-based methods. La-MAML achieves performance superior to other replay-based, prior-based and meta-learning based approaches for continual learning on real-world visual classification benchmarks. Source code can be found here: https://github.com/montrealrobotics/La-MAML

연구 동기 및 목표

• 제한된 용량과 망각이 발생하는 비정상적 작업 스트림에서의 연속 학습을 동기 부여한다.
• 간섭을 완화하기 위해 재생(replay)을 사용하는 온라인의 빠른 메타 러닝 알고리즘을 개발한다.
• 태스크 간 학습 속도를 조절하기 위한 매개변수별 학습률 모듈레이션이 있는 Look-ahead MAML (La-MAML)을 도입한다.
• 재생 기반, 사전 기반 및 메타 러닝 기반 기준선에 대해 현실적인 비전 벤치마크에서 확장성 및 강인성을 입증한다.

제안 방법

• 재생 버퍼를 갖춘 기본 온라인 메타 러닝 방법으로 Continual-MAML (C-MAML)을 확장한다.
• 내부 업데이트를 조절하기 위해 비동기로 업데이트되는 매개변수별 학습 가능 학습률(LR)을 도입한다.
• LR 하이퍼그래디언트가 태스크 그래디언트 정렬 및 간섭을 어떻게 반영하는지 보이는 그래디언트를 도출한다.
• 현재 샘플과 재생 샘플의 혼합으로 평가된 메타 로스와 함께 k-step MAML 업데이트를 통해 온라인 메타 오브젝트를 최적화한다.
• 학습 속도와 망각 사이의 균형을 맞추기 위해 비동기적이며 Look-ahead 방식으로 네트워크 가중치와 LR을 업데이트한다.
• 표준 CL 벤치마크와 확장 가능한 비전 작업에서 EWC, GEM, MER, iCARL, Sync 및 ER와의 비교 실험을 수행한다.

실험 결과

연구 질문

• RQ1 재생이 있는 온라인 메타 러닝이 기존 CL 방법과 비교해 경쟁력 있거나 더 우수한 망각 제어를 달성할 수 있는가?
• RQ2 매개변수별 학습 가능 학습률(LR)이 태스크 간 안정성(stability)과 가소성(plasticity)을 균형 있게 조절하는 유연한 메커니즘을 제공하는가?
• RQ3 비동기적 LR 모듈레이션이 그래디언트 정렬을 개선하고 연속 학습의 간섭을 줄이는가?
• RQ4 실세계 비전 데이터셋에서 표준 지속 학습과 효율적 평생 학습(LLL) 설정 모두에서 La-MAML의 성능은 어떠한가?

주요 결과

• La-MAML은 MNIST, CIFAR-100 및 TinyImagenet 벤치마크에서 재생 기반, 사전 기반 및 메타 러닝 기준선과 종종 일치하거나 이를 상회한다.
• 비동기적 매개변수별 LR 모듈레이션과 Look-ahead 업데이트가 기준선보다 빠른 학습과 더 강한 그래디언트 정렬을 제공한다.
• La-MAML은 현실적인 비전 작업에 대한 강인성과 확장성을 보여주며 유지된 정확도는 경쟁력 있고, 역방향 전이(backward transfer) 및 망각 지표가 더 낮다.
• LR 모듈레이션은 고정 학습률 C-MAML보다 개선을 제공하고 단순 ER 기준선보다 우수하며, 특히 태스크 난이도가 증가할수록 두드러진다.
• 그래디언트 정렬 측정은 La-MAML 변종이 ER보다 재생과 신규 태스크 그래디언트 간 코사인 유사도가 더 높음을 보여주며, 이는 교차 태스크 전이의 개선을 시사한다.