[논문 리뷰] Online Fast Adaptation and Knowledge Accumulation: a New Approach to Continual Learning

M. Caccia, Pau Rodríguez외 9명|arXiv (Cornell University)|2020. 03. 12.

Domain Adaptation and Few-Shot Learning참고 문헌 56인용 수 13

한 줄 요약

이 논문은 메타학습 용어를 사용하여 빠른 가중치 적응과 느린 파rameter 업데이트를 통합하는 통합 프레임워크인 OSAKA를 제안한다. 데이터 샘플링, 빠른 가중치 계산, 느린 가중치 업데이트를 서포트 세트와 쿼리 세트를 통해 모델링함으로써, OSAKA는 작업 간 온라인 빠른 적응과 지식 축적을 가능하게 하여 지속적 학습 환경에서 향상된 일반화 성능을 달성한다.

ABSTRACT

Continual learning studies agents that learn from streams of tasks without forgetting previous ones while adapting to new ones. Two recent continual-learning scenarios have opened new avenues of research. In meta-continual learning, the model is pre-trained to minimize catastrophic forgetting of previous tasks. In continual-meta learning, the aim is to train agents for faster remembering of previous tasks through adaptation. In their original formulations, both methods have limitations. We stand on their shoulders to propose a more general scenario, OSAKA, where an agent must quickly solve new (out-of-distribution) tasks, while also requiring fast remembering. We show that current continual learning, meta-learning, meta-continual learning, and continual-meta learning techniques fail in this new scenario. We propose Continual-MAML, an online extension of the popular MAML algorithm as a strong baseline for this scenario. We empirically show that Continual-MAML is better suited to the new scenario than the aforementioned methodologies, as well as standard continual learning and meta-learning approaches.

연구 동기 및 목표

• 메타학습과 지속적 학습 간의 상호작용으로 인한 혼란을 제거하기 위해 통합 개념적 프레임워크를 제공하는 것.
• 작업이 순차적으로 도래하고 실시간으로 적응 가능한 메타학습 문제로 지속적 학습을 정형화하는 것.
• 빠른 가중치와 느린 가중치 업데이트를 갖춘 체계적인 학습 알고리즘을 통해 온라인 빠른 적응과 장기 지식 축적을 가능하게 하는 것.
• 지도 학습, 메타학습, 지속적 학습을 포함한 다양한 학습 철학에 적용 가능한 일반화 가능한 프레임워크를 제시하는 것.
• 동적 맥락 변화와 쿼리 기반 평가를 지원하는 지속적 메타학습을 위한 새로운 학습 제도인 OSAKA를 도입하는 것.

제안 방법

• 각 학습 철학을 맥락 변수 C로 모델링하며, 맥락은 작업 또는 작업 기술자로 정의된다.
• 서포트 세트 S와 쿼리 세트 Q를 핵심 구성요소로 도입하며, S는 빠른 가중치 계산에 사용되고 Q는 성능 평가에 사용된다.
• 학습 알고리즘 A를 서포트 세트 S에서 예측자 fθ = A(S)로 매핑하는 기능으로 정의하며, 파rameter θ는 빠른 적응을 통해 학습된다.
• 쿼리 세트에서 예측자의 성능을 평가하기 위해 손실 함수 L(fθ, Q)를 적용함으로써 알고리즘 A의 메타최적화가 가능해진다.
• 느린 가중치 ϕ를 업데이트하기 위해 메타최적화 목표 ∇ϕ∑tL(fθt, Qt)를 사용하며, fθt는 온라인 순차적 방식으로 Aϕ(St−1)를 통해 계산된다.
• 빠른 가중치는 이전 쿼리 상태를 사용해 온라인으로 적응하고, 느린 가중치는 누적 손실에 대한 경사 하강법을 통해 업데이트하는 새로운 학습 프로토콜인 OSAKA를 활용한다.

실험 결과

연구 질문

• RQ1 메타학습과 지속적 학습을 단일 프레임워크 아래에서 공식적으로 통합할 수 있는가?
• RQ2 빠른 가중치와 느린 가중치는 온라인 적응과 장기 지식 유지에 어떻게 기여하는가?
• RQ3 OSAKA 프레임워크는 순차적이고 동적인 작업 분포에서 지속적 메타학습을 어떻게 지원하는가?
• RQ4 다양한 학습 설정에서 빠른 적응과 느린 파rameter 업데이트를 모두 지원할 수 있는 통합 학습 프로토콜을 설계할 수 있는가?
• RQ5 서포트 세트와 쿼리 세트의 사용은 지속적 학습 환경에서 일반화 성능을 어떻게 향상시키는가?

주요 결과

• 제안된 OSAKA 프레임워크는 서포트 세트와 쿼리 세트를 사용하여 메타학습, 지속적 학습 및 그 변종을 단일이고 일관된 프레임워크로 통합하였다.
• OSAKA는 이전 쿼리 상태에서 빠른 가중치를 계산함으로써 온라인 빠른 적응을 가능하게 하여 새로운 데이터에 빠르게 대응할 수 있도록 하였다.
• 느린 가중치 ϕ는 누적 손실 ∑tL(fθt, Qt)에 대한 경사 하강법을 통해 업데이트되어 장기 지식 축적을 보장한다.
• 프레임워크는 순차적 맥락 C1:T를 모델링하고 시간에 따라 알고리즘 적응을 가능하게 하여 지속적 메타학습을 지원한다.
• 빠른 적응(서포트 세트에서 수행)과 느린 파arameter 업데이트(메타최적화를 통한 수행)를 분리함으로써 지속적 학습에서 향상된 일반화 성능을 달성한다.
• 빠른 가중치(작업 특화)와 느린 가중치(메타학습된) 간의 명확한 개념적 분리가 이루어져 이해 가능성과 학습 안정성을 향상시킨다.