[논문 리뷰] Evaluating Online Continual Learning with CALM

Germán Kruszewski, Ionut Sorodoc외 1명|arXiv (Cornell University)|2020. 04. 07.

Machine Learning and Algorithms참고 문헌 62인용 수 7

한 줄 요약

이 논문은 언어나 도메인 간에 명시적인 작업 경계 없이 번갈아가며 스트리밍되는 텍스트 데이터에서 온라인 지속적 학습을 위한 클래스 무관 지속적 언어 모델링 벤치마크인 CALM을 소개한다. 손실 급증을 통한 치명적 기억 상실을 측정하기 위해 새로운 지표를 제안하며, 잠재적 유사성을 학습하는 '플라스틱 게이트'—즉, 제품의 전문가 모델을 향상시키는 게이팅 메커니즘—을 도입하여 기억 상실을 크게 줄이고 분포 이동에 대한 적응 능력을 향상시킨다.

ABSTRACT

Online Continual Learning (OCL) studies learning over a continuous data stream without observing any single example more than once, a setting that is closer to the experience of humans and systems that must learn "on-the-wild". Yet, commonly available benchmarks are far from these real-world conditions, because they explicitly signal different tasks, lack latent similarity structure or assume temporal independence between different examples. Here, we propose a new benchmark for OCL based on language modelling in which input alternates between different languages and domains without any explicit delimitation. Additionally, we propose new metrics to study catastrophic forgetting in this setting and evaluate multiple baseline models based on compositions of experts. Finally, we introduce a simple gating technique that learns the latent similarities between different inputs, improving the performance of a Products of Experts model.

연구 동기 및 목표

• 실제와 유사한 환경을 반영하지 못하는 온라인 지속적 학습을 위한 자연어 처리 분야의 현실적인 벤치마크 부족 문제를 해결하기 위해, 시간적 의존성, 잠재적 유사성, 명시적 작업 경계 없음 등의 특성을 포함한 벤치마크를 설계한다.
• 인간이 경험하는 실제 지속적 학습 조건을 더 잘 반영하는 새로운 평가 프레임워크를 개발한다.
• 정확도 감소 외에도 분포 이동 중 손실 급증의 크기를 기반으로 치명적 기억 상실을 정량화하는 지표를 제안한다.
• 이 새로운 설정에서 기준 모델을 평가하고, 입력 클래스 간 잠재적 유사성을 포착함으로써 적응 능력을 향상시키고 기억 상실을 줄이는 새로운 게이팅 메커니즘을 제안한다.

제안 방법

• 명시적 작업 경계 없이, 문자 기반(다섯 개 언어) 및 어휘 기반(네 개 도메인) 두 가지 변형을 가진 지속적 언어 모델링 벤치마크인 CALM을 제안한다.
• 분포 이동 중 손실 급증의 크기를 기반으로 온라인 환경에서 치명적 기억 상실을 정량화하기 위한 새로운 지표를 설계한다.
• 입력 데이터를 관련 전문가에 동적으로 라우팅하기 위해 학습 가능한 게이팅 메커니즘을 갖춘 제품의 전문가(PoE) 아키텍처를 사용한다.
• 입력 클래스 간 잠재적 유사성을 학습하는 단순한 게이팅 전략인 '플라스틱 게이트'를 도입하여, 모델의 적응 능력을 향상시키고 기억 상실을 줄인다.
• 게이팅 메커니즘의 믹스처 가중치를 사용해 학습된 유사성을 분석하고, 이들이 기저의 언어적 구조를 반영하고 있음을 검증한다.
• 게이팅 벡터에 계층적 클러스터링을 적용하여, 학습된 유사성이 알려진 언어 가문과 일치하는지 확인한다.

실험 결과

연구 질문

• RQ1 명시적 작업 경계 없이 입력 클래스 간 잠재적 유사성이 존재하는 자연어 처리 분야의 온라인 지속적 학습을 위한 현실적인 벤치마크를 어떻게 설계할 수 있는가?
• RQ2 스트리밍 및 클래스 무관 설정에서 분포 이동에 직면했을 때 기존 모델은 얼마나 심각한 치명적 기억 상실을 겪는가?
• RQ3 학습 가능한 게이팅 메커니즘이 입력 클래스 간 잠재적 유사성을 포착함으로써 제품의 전문가 모델의 성능을 온라인 지속적 학습 환경에서 향상시킬 수 있는가?
• RQ4 학습된 게이팅 패턴은 입력 데이터의 알려진 구조적 관계(예: 언어 가문)를 반영하는가?
• RQ5 다양한 데이터 스트림 구성(예: 다국어 대비 다도메인)은 지식 전이 가능성과 기억 상실에 어떤 영향을 미치는가?

주요 결과

• 다국어 벤치마크는 언어 간 통계적 분리가 높아 지식 전이를 제한하지만, 다도메인 벤치마크는 더 미묘한 유사성 덕분에 상당한 전이를 가능하게 한다.
• PoE+플라스틱 게이트 모델은 특히 클래스 전환에 대한 적응 능력에서 표준 기준 모델을 능가하며, 관련 전문가에 입력을 효과적으로 라우팅한다.
• 손실 급증 분석 결과, 플라스틱 게이트가 치명적 기억 상실 피크의 크기를 줄여 분포 이동 중 안정성을 향상시킨다.
• 학습된 게이팅 벡터는 알려진 언어 가문과 강하게 상관되어 있다—예를 들어 스페인어와 프랑스어는 유사한 모듈 사용 패턴을 보이며, 계층적 클러스터링은 언어 그룹을 재구성한다.
• 근접한 영역에서 게이팅 가중치가 0에 가까운 모듈들은 기억 상실로부터 보호되며, 음수 가중치를 가진 모듈조차도 부정적 학습 신호를 인코딩함으로써 이중 기능을 수행할 수 있다.
• 플라스틱 게이트 메커니즘은 전문가의 이중 사용을 가능하게 하여, 양수 및 음수 가중치가 모두 '예측할 것'과 '예측하지 말 것'의 신호를 인코딩함으로써 강건성을 향상시킨다.