[논문 리뷰] LAMOL: LAnguage MOdeling for Lifelong Language Learning

Fan-Keng Sun, Cheng-Hao Ho외 1명|arXiv (Cornell University)|2019. 09. 07.

Multimodal Machine Learning Applications참고 문헌 32인용 수 83

한 줄 요약

LAMOL은 단일 언어 모델을 학습시켜 NLP 태스크를 수행하고 이전 태스크에서 pseudo-samples를 생성하게 하여 추가 메모리 없이도 평생 언어 학습을 가능하게 하고 멀티태스킹의 상한에 근접한 수준으로 망각을 줄인다(2-3% 이내).

ABSTRACT

Most research on lifelong learning applies to images or games, but not language. We present LAMOL, a simple yet effective method for lifelong language learning (LLL) based on language modeling. LAMOL replays pseudo-samples of previous tasks while requiring no extra memory or model capacity. Specifically, LAMOL is a language model that simultaneously learns to solve the tasks and generate training samples. When the model is trained for a new task, it generates pseudo-samples of previous tasks for training alongside data for the new task. The results show that LAMOL prevents catastrophic forgetting without any sign of intransigence and can perform five very different language tasks sequentially with only one model. Overall, LAMOL outperforms previous methods by a considerable margin and is only 2-3% worse than multitasking, which is usually considered the LLL upper bound. The source code is available at https://github.com/jojotenya/LAMOL.

연구 동기 및 목표

• 동일한 태스크 도메인을 넘어 NLP 태스크에 대한 평생 언어 학습에 동기를 부여합니다.
• 연속된 NLP 태스크에서 재앙적 망각을 방지하는 메모리 효율적인 방법을 제안합니다.
• 하나의 LM이 여러 태스크를 해결하고 데이터도 생성할 수 있음을 보여줍니다.
• 다수의 태스크가 관여될 때 태스크 특화 토큰이 학습을 안정화한다는 점을 보입니다.
• 재현성과 추가 연구를 위한 오픈 소스 코드를 제공합니다.

제안 방법

• 모든 태스크를 QA/LM 친화적 형식으로 프레이밍하여 통합 학습을 가능하게 합니다.
• 단일 LM을 사용해 태스크를 해결하고 과거 태스크의 가짜 샘플을 생성합니다.
• 새로운 태스크를 학습하는 동안 이전 태스크의 상위-k 가짜 샘플을 생성하고 이를 새 태스크 데이터와 섞습니다.
• QA 형식과 LM 형식 목표를 모두 하나의 손실 L = L_QA + lambda L_LM으로 학습합니다.
• 원하는 경우 태스크 특화 토큰(GEN을 TASK로 대체)으로 태스크 간 가짜 샘플 생성의 균형을 맞춥니다.
• 샘플링 비율 gamma와 태스크 특화 토큰 사용이 안정성과 망각에 미치는 영향을 조사합니다.

실험 결과

연구 질문

• RQ1 하나의 언어 모델이 과거 데이터에 접근하지 않으면서도 모델 능력을 늘리지 않고도 다양한 NLP 태스크의 흐름을 학습할 수 있는가?
• RQ2 과거 태스크의 가짜 샘플을 생성하는 것이 평생 언어 학습에서 재앙적 망각을 완화하는가?
• RQ3 가짜 샘플 수량(gamma)과 태스크 특화 토큰이 태스크 전반의 성능과 안정성에 어떤 영향을 미치는가?
• RQ4 LAMOL이 다양한 NLP 태스크 스펙트럼에서 멀티태스크 성능에 얼마나 근접할 수 있는가?

주요 결과

• LAMOL은 다수의 NLP 태스크에 걸쳐 기준선 및 다수의 이전 지속 학습 방법을 능가한다.
• 다섯 개의 decaNLP 태스크에 걸쳐 LAMOL은 멀티태스킹 상한에 2~3% 이내로 근접한다.
• gamma > 0 및 태스크 특화 토큰의 사용은 일반적으로 학습을 안정시키고 gamma = 0에 비해 망각을 줄인다.
• 가짜 샘플을 사용한 LAMOL은 초기 태스크의 지식을 유지하며 저항성의 징후가 거의 없다.
• 실제 오래된 샘플을 가짜 샘플로 대체하는 것은 가능하지만 샘플 효율이 좋은 구간에서 실제 데이터가 더 강력한 성능을 낸다.
• 이 방법은 기본 LM을 넘는 추가 메모리나 모델 용량이 필요 없고 필요에 따라 새로운 태스크를 추가할 수 있다.