[논문 리뷰] Meta-Learning Representations for Continual Learning

Khurram Javed, Martha White|arXiv (Cornell University)|2019. 05. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 28인용 수 25

한 줄 요약

이 논문은 지속적 학습에서 치명적인 간섭을 최소화하고 향후 학습을 가속화하기 위해 신경망 표현을 최적화하는 메타학습 목표인 OML을 제안한다. 온라인 업데이트에 대한 강건성을 최적화함으로써 OML은 표준 방법보다 뛰어난 자연스러운 희박한 표현을 학습하며, 이는 단순한 온라인 업데이트로도 복구 기반 접근법에 맞먹는 성능을 가능하게 한다.

ABSTRACT

A continual learning agent should be able to build on top of existing knowledge to learn on new data quickly while minimizing forgetting. Current intelligent systems based on neural network function approximators arguably do the opposite---they are highly prone to forgetting and rarely trained to facilitate future learning. One reason for this poor behavior is that they learn from a representation that is not explicitly trained for these two goals. In this paper, we propose OML, an objective that directly minimizes catastrophic interference by learning representations that accelerate future learning and are robust to forgetting under online updates in continual learning. We show that it is possible to learn naturally sparse representations that are more effective for online updating. Moreover, our algorithm is complementary to existing continual learning strategies, such as MER and GEM. Finally, we demonstrate that a basic online updating strategy on representations learned by OML is competitive with rehearsal based methods for continual learning. We release an implementation of our method at https://github.com/khurramjaved96/mrcl .

연구 동기 및 목표

• 온라인 업데이트에 대한 강건성을 명시적으로 학습시킴으로써 지속적 학습에서 치명적인 간섭을 해결하기 위해 표현을 최적화한다.
• 새로운 데이터에 더 빠르게 적응할 수 있도록 지원하는 표현을 학습함으로써 향후 학습을 가속화한다.
• 간섭을 직접 최소화하는 메타목표를 개발하여, 희박성과 같은 대체 지표에 의존하지 않는다.
• 기존의 지속적 학습 방법과 상호보완적인 표현을 개발하여 성능을 향상시킨다.
• OML로 학습한 표현에 대해 기본적인 온라인 업데이트가 복구 기반 방법에 맞먹거나 뛰어나게 할 수 있음을 보여준다.

제안 방법

• OML는 데이터 트랙토리에 대한 온라인 업데이트 후 성능을 평가하는 메타목표를 통해 표현 네트워크를 최적화하는 메타학습 프레임워크를 사용한다.
• 메타목표는 이전 작업의 지식을 유지하는 데 기여하는 작은 기울기 업데이트를 장려함으로써 간섭을 최소화한다.
• 메타학습 중에는 내부 루프에서 예측 학습 네트워크(PLN)만 업데이트되며, 외부 루프에서는 메타목표를 사용해 표현 학습 네트워크(RLN)와 PLN 모두를 업데이트한다.
• 명시적인 희박성 정규화 없이도 표현이 본질적으로 희박해지도록 학습한다.
• 추론 중 온라인 업데이트는 오직 PLN만 수정하며, RLN는 고정된 채로 유지되어 효율적인 지속적 학습이 가능하다.
• 기존의 지속적 학습 방법인 MER, EWC, ER-Reservoir와도 호환되며, OML로 학습한 표현을 초기화값으로 사용할 경우 성능 향상이 이루어진다.

실험 결과

연구 질문

• RQ1 온라인 학습 중에 치명적인 간섭을 직접 최소화할 수 있는 메타목표를 설계할 수 있는가?
• RQ2 망각에 강건하고 향후 학습을 가속화하는 데 효과적인 표현을 학습할 수 있는가?
• RQ3 명시적인 희박성 제약 없이도 OML 목표가 자연스럽게 희박한 표현을 유도하는가?
• RQ4 OML로 학습한 표현에 대해 단순한 온라인 업데이트가 더 복잡한 복구 기반 방법보다 뛰어나게 성능을 내는가?
• RQ5 OML는 기존의 지속적 학습 알고리즘과 어떻게 상호작용하며 성능을 향상시키는가?

주요 결과

• OML로 학습한 표현을 사용할 경우, EWC, MER, ER-Reservoir를 포함한 테스트된 모든 지속적 학습 방법에서 성능 향상이 크게 이루어졌다.
• 50개의 작업(1개의 클래스당 1개의 작업)을 가진 Split-Omniglot에서 OML 기반 온라인 업데이트는 64.72%의 정확도를 기록했으며, 표준 표현을 사용할 경우 ER-Reservoir(68.16%)와 MER(76.00%)와 같은 복구 기반 방법을 뛰어넘었다.
• 1개 작업당 5개의 클래스 설정에서 OML 기반 온라인 업데이트는 표준 표현을 사용할 경우 55.32%의 정확도를 달성하여 모든 다른 방법을 능가했다.
• 고정된 표현으로 사전 훈련을 수행한 경우 성능 향상이 미미했지만, OML은 일관되게 뚜렷한 향상을 보여주어 정적 표현 학습보다 뛰어난 성능을 입증했다.
• OML는 근사적인 IID 훈련보다도 뛰어나 성능을 보였으며, 간섭을 줄이는 것 외에도 새로운 데이터에 대한 학습 속도를 향상시킨다는 것을 시사한다.
• OML 표현을 사용할 경우 온라인 학습과 복구 기반 방법 간의 성능 격차가 줄어들었으며, 이는 OML이 온라인 학습의 효과성을 높인다는 것을 의미한다.