[논문 리뷰] Episodic Memory in Lifelong Language Learning

Cyprien de Masson d’Autume, Sebastian Ruder외 2명|arXiv (Cornell University)|2019. 06. 03.

Topic Modeling인용 수 99

한 줄 요약

이 논문은 데이터 식별자 없이 다수의 데이터셋 스트림에서 지속적인 언어 학습을 가능하게 하는 희소한 경험 재생과 로컬 적응을 갖춘 에피소드 메모리 모델을 제안합니다. 텍스트 분류 및 질문 응답 성능을 향상시키면서 메모리 사용을 줄입니다.

ABSTRACT

We introduce a lifelong language learning setup where a model needs to learn from a stream of text examples without any dataset identifier. We propose an episodic memory model that performs sparse experience replay and local adaptation to mitigate catastrophic forgetting in this setup. Experiments on text classification and question answering demonstrate the complementary benefits of sparse experience replay and local adaptation to allow the model to continuously learn from new datasets. We also show that the space complexity of the episodic memory module can be reduced significantly (~50-90%) by randomly choosing which examples to store in memory with a minimal decrease in performance. We consider an episodic memory component as a crucial building block of general linguistic intelligence and see our model as a first step in that direction.

연구 동기 및 목표

• 명시적 데이터셋 경계 없이 여러 데이터셋으로부터 데이터가 유입되는 지속적이고 평생에 걸친 언어 학습을 촉진한다.
• 인코더–디코더 언어 모델에서 희소 경험 재생과 로컬 적응을 지원하는 에피소드 메모리 모듈을 도입한다.
• 메모리 기반 접근 방식이 재앙적 망각을 완화하고 데이터셋 간 긍정적 전달을 가능하게 함을 보여준다.
• 성능을 유지하면서 무작위 쓰기를 통해 메모리 공간을 크게 줄일 수 있음을 보인다.
• 분류 및 QA 작업에 대해 기준선 및 최신 지속학습 방법과 비교한다.]
• method
• Use a Transformer/BERT-based example encoder and a separate pretrained key network to generate memory keys.
• Store each seen example as a key–value pair in a two-sided episodic memory (keys from the memory's key network, values are input–label pairs).
• Perform sparse experience replay by periodically sampling memory and updating the base model with retrieved examples.
• At inference, perform local adaptation by retrieving K nearest neighbors from memory and updating model parameters briefly to improve the current prediction.
• Keep the key network fixed to avoid representation drift and explore memory-writing via random selection to control space complexity.
• Compare against Enc-Dec, A-GEM, Replay, MbPA variants, and Multitask learning (MTL) on text classification and QA.

제안 방법

• Transformer/BERT 기반 예시 인코더와 분리된 사전 학습된 키 네트워크를 사용해 메모리 키를 생성한다.
• 본 에피소드 기억에 본 예시를 키–값 쌍으로 저장한다(키는 메모리의 키 네트워크에서, 값은 입력–레이블 쌍).
• 주기적으로 메모리를 샘플링하여 검색된 예제로 기본 모델을 업데이트하는 희소 경험 재생을 수행한다.
• 추론 시에는 메모리에서 K개의 최근접 이웃을 검색해 모델 매개변수를 짧게 업데이트하여 현재 예측을 개선하는 로컬 적응을 수행한다.
• 표현 드리프트를 방지하기 위해 키 네트워크를 고정하고 무작위 선택을 통해 메모리 쓰기를 탐색하여 공간 복잡성을 제어한다.
• 텍스트 분류와 QA에서 Enc-Dec, A-GEM, Replay, MbPA 변형, 다중 작업 학습(MTL)과 비교한다.

실험 결과

연구 질문

• RQ1 에피소드 메모리와 희소 재생 및 로컬 적응이 데이터 식별자 없이 데이터 스트림에서의 평생 언어 학습을 지원할 수 있는가?
• RQ2 희소 경험 재생과 로컬 적응의 결합이 텍스트 분류 및 QA에서 단일 구성요소의 기준선보다 우수한가?
• RQ3 메모리 사용량(공간)이 성능에 어떤 영향을 미치는지, 최소한의 성능 손실로 메모리를 줄일 수 있는가?
• RQ4 학습 중 고정된 키 네트워크를 사용하는 것과 키를 업데이트하는 것이 망각 및 전이에 어떤 영향을 미치는가?

주요 결과

• MbPA++(희소 재생을 통한 메모리 기반 매개변수 적응)는 텍스트 분류와 QA 모두에서 지속 학습 기준선 중 가장 강한 성능을 보인다.
• 1% 재생율의 희소 경험 재생은 과제를 완전한 다중 작업 학습으로 전환하지 않으면서도 실질적인 이점을 제공한다.
• 메모리-최근접 이웃을 이용한 로컬 적응은 무작위 이웃 선택보다 예측을 크게 향상시키며, 관련 예시를 검색하는 것이 중요함을 강조한다.
• 고정된 키 네트워크는 드리프트를 방지하고 안정적인 메모리 기반 적응에 필수적이며; 학습 중 키를 업데이트하면 고정 키 MbPA 변형에 비해 성능이 저하된다.
• MbPA++는 다중 작업 학습(MTL)과의 차이를 좁히고 데이터셋 간 텍스트 분류에서 긍정적 전이를 보여주지만 QA는 여전히 단일 데이터셋 모델에 뒤처진다.
• 메모리 용량 실험은 전체 메모리의 10% 수준에서도 합리적인 성능을 보이며, 메모리 이웃의 수(K)를 늘리는 것이 일반적으로 한계 내에서 결과를 향상시킨다.