[논문 리뷰] Meta-Learning with Sparse Experience Replay for Lifelong Language Learning

Nithin Holla, Pushkar Mishra외 2명|arXiv (Cornell University)|2020. 09. 10.

Domain Adaptation and Few-Shot Learning참고 문헌 58인용 수 15

한 줄 요약

이 논문은 실제의 단일 통과, 작업 식별자 없음 환경에서 치명적인 잊음 현상을 방지하기 위한 희소 경험 재생을 갖춘 메타학습 프레임워크를 제안한다. 메타학습을 가벼운 무작위로 작성된 일시적 기억과 통합함으로써, BERT를 사용하여 텍스트 분류 및 관계 추출 벤치마크에서 최신 기술 성능을 달성하면서도 낮은 계산 및 메모리 비용을 유지한다.

ABSTRACT

Lifelong learning requires models that can continuously learn from sequential streams of data without suffering catastrophic forgetting due to shifts in data distributions. Deep learning models have thrived in the non-sequential learning paradigm; however, when used to learn a sequence of tasks, they fail to retain past knowledge and learn incrementally. We propose a novel approach to lifelong learning of language tasks based on meta-learning with sparse experience replay that directly optimizes to prevent forgetting. We show that under the realistic setting of performing a single pass on a stream of tasks and without any task identifiers, our method obtains state-of-the-art results on lifelong text classification and relation extraction. We analyze the effectiveness of our approach and further demonstrate its low computational and space complexity.

연구 동기 및 목표

• 작업 식별자 없이 다중 학습 통과 없이 지속적 언어 학습에서 치명적인 잊음 현상을 해결하기 위해.
• BERT와 같은 사전 학습된 언어 모델을 위한 메모리 효율적인 지속적 학습 방법을 개발하기 위해.
• 메타학습과 희소 재생을 통해 순차적인 NLP 작업 간 효과적인 지식 전이를 가능하게 하기 위해.
• 일반적인 실험적 오류를 피하기 위해 실제 지속적 학습 조건 하에서 방법을 평가하기 위해.
• 일시적 메타학습과 희소 재생이 기존의 재생 기반 및 정규화 기반 접근법보다 뛰어나게 성능을 발휘함을 보여주기 위해.

제안 방법

• 경험 재생을 위한 일시적 기억 모듈을 추가하여 온라인 메타학습(OML)과 신경조절 메타학습 알고리즘(ANML)을 NLP에 확장한다.
• 제한된 수의 과거 예시를 메모리에 저장하기 위해 희소하고 무작위로 쓰는 메커니즘을 사용하며, 메타최적화 중에 주기적으로 재생을 수행한다.
• 경험 재생을 메타학습의 쿼리 세트로 간주하여 기울기 정렬을 통한 잊음 방지 최적화를 직접 수행한다.
• 공유된 출력 헤드를 사용하고 데이터 스트림을 단 한 번만 통과하면서 실제 지속적 학습을 시뮬레이션한다.
• BERT 위에 있는 작은 가속 가능한 투영층(PLN)에서만 내부 루프 업데이트를 수행하여 파라미터 업데이트와 계산 비용을 최소화한다.
• 새로운 작업에서 학습하고 재생된 기억 예시에서 미세조정하는 것을 번갈아가며 수행하는 메타최적화기를 사용하여 학습을 안정화시킨다.

실험 결과

연구 질문

• RQ1 작업 식별자가 없이 지속적 언어 학습에서 메타학습과 희소 경험 재생이 치명적인 잊음 현상을 방지할 수 있는가?
• RQ2 경험 재생의 빈도와 희소성은 지속적 NLP 작업에서 모델 성능에 어떤 영향을 미치는가?
• RQ3 주기적인 재생을 통한 일시적 메타학습이 정규화 기반 방법보다 정확도와 효율성 면에서 뛰어나게 성능을 발휘하는가?
• RQ4 메모리 용량이 감소할 경우 이 방법은 어떻게 스케일링되며, 이전 방법보다 더 메모리 효율적인가?
• RQ5 메모리 선택을 위한 단순한 무작위 쓰기 전략이 더 복잡한 히우리스틱 전략에 비해 뛰어난 성능을 낼 수 있는가?

주요 결과

• OML-ER는 실제 지속적 학습 설정 하에서 지속적 텍스트 분류 및 관계 추출에서 최신 기술 성능을 달성한다.
• 메모리 용량이 1%일 경우에도 높은 정확도를 유지하여, MbPA++가 10% 용량에서 3% 감소하는 것과 비교해 뚜렷한 메모리 효율성을 보여준다.
• 메모리 용량이 감소하더라도 성능이 안정적으로 유지되며, 텍스트 분류의 경우 1% 용량에서 유의미한 정확도 하락이 없음(p=0.952).
• 관계 추출의 경우 1% 용량에서 정확도가 약간 감소하지만 유의미한 하락(p=0.040)을 보이며, 전체적으로도 높은 성능 유지.
• 메타최적화기 단계 약 101회마다 재생을 수행하는 일시적 메타학습이 표준 재생(600단계마다 재생)보다 성능이 뛰어나며(p=0.001), 메타최적화 타이밍의 중요성을 시사한다.
• 대부분의 업데이트가 BERT 위의 단일 선형층에 집중되어 있어 빠른 학습 및 추론이 가능하며, 계산 오버헤드를 최소화한다.