[논문 리뷰] Fine-tuned Language Models are Continual Learners

Thomas Scialom, Tuhin Chakrabarty외 1명|arXiv (Cornell University)|2022. 05. 24.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 지속적 학습을 통해 70개의 다양한 NLP 작업에서 성능를 유지하면서 8개의 새로운 언어 생성 작업을 학습하는 데 1%의 복귀 버퍼를 사용하는 Continual-T0 (CT0)를 제안한다. 모델은 복귀 없이도 원래 T0 데이터셋에서 거의 완벽한 제로샷 성능을 유지하며, 지속적 학습이 지식 보존보다는 자기지도 학습 미세조정에서 유도된다는 것을 보여준다. 지시 테이닝이나 모델 크기의 영향을 받지 않는다.

ABSTRACT

Recent work on large language models relies on the intuition that most natural language processing tasks can be described via natural language instructions. Language models trained on these instructions show strong zero-shot performance on several standard datasets. However, these models even though impressive still perform poorly on a wide range of tasks outside of their respective training and evaluation sets. To address this limitation, we argue that a model should be able to keep extending its knowledge and abilities, without forgetting previous skills. In spite of the limited success of Continual Learning we show that Language Models can be continual learners. We empirically investigate the reason for this success and conclude that Continual Learning emerges from self-supervision pre-training. Our resulting model Continual-T0 (CT0) is able to learn diverse new tasks, while still maintaining good performance on previous tasks, spanning remarkably through 70 datasets in total. Finally, we show that CT0 is able to combine instructions in ways it was never trained for, demonstrating some compositionality.

연구 동기 및 목표

• 새로운 작업을 학습할 때 미세조정된 언어 모델에서 발생하는 치명적인 잊음 문제를 해결하기 위해.
• 지시 테이닝된 모델이 지시 테이닝이나 모델 크기 없이도 지속적 학습을 수행할 수 있는지 조사하기 위해.
• 지속적 학습 능력이 사전 훈련에서 유도되는지, 지시 테이닝이나 모델 크기에서 유도되는지 평가하기 위해.
• 작은 복귀 버퍼(1%)가 다양한 언어 생성 작업 간의 효과적인 지속적 학습을 가능하게 하는지 보여주기 위해.
• 지속적으로 학습된 모델에서 지시의 구성성(Compositionality)을 탐구하기 위해.

제안 방법

• 자연어 지시를 사용해 50개 데이터셋에 대해 훈련된 미세조정된 T0 모델을 기반으로 사용한다.
• 복귀를 통해 지속적 학습을 구현하며, 이는 이전 작업 데이터의 1%를 저장하고 새로운 작업 훈련 중에 재사용하는 방식이다.
• 하이쿠 생성, 공감적 응답 생성, 제약 조건이 있는 헤드라인 생성 등 다양한 언어 생성 작업 8개를 순차적으로 훈련한다.
• 새로운 작업과 원래 T0 제로샷 평가 데이터셋에서 성능을 평가하며, 후자의 경우 복귀 없이 평가한다.
• 제거 실험을 통해 복귀 유무 모델을 비교하고, 사전 훈련, 지시 테이닝, 모델 크기의 영향을 지속적 학습 성공에 분석한다.
• 추론 중에 서로 다른 작업의 지시를 새로운 방식으로 조합하여 구성성 테스트를 수행한다.

실험 결과

연구 질문

• RQ1 T0와 같은 미세조정된 언어 모델이 치명적인 잊음 없이 다양한 언어 생성 작업 간에 지속적 학습을 수행할 수 있는가?
• RQ2 T0의 지속적 학습 능력은 사전 훈련, 지시 테이닝, 또는 모델 크기에서 기인하는가?
• RQ3 최소한의 복귀 버퍼(1%)가 이전에 학습한 작업의 성능 유지를 위해 얼마나 효과적인가?
• RQ4 모델은 훈련 중에 볼 수 없었던 지시의 조합에 일반화할 수 있는가?
• RQ5 이 작업들에 대해 복귀 없이도 원래 T0 평가 세트에서 강력한 제로샷 성능을 유지하는가?

주요 결과

• CT0는 복귀 없이도 원래 T0 제로샷 평가 데이터셋에서 거의 100%의 성능을 유지하며 강력한 지식 유지 능력을 보여준다.
• 단지 1%의 복귀 버퍼만으로도 CT0는 8개의 새로운 언어 생성 작업에서 높은 성능를 기록하면서 이전 작업의 성능를 70개 데이터셋에서 유지한다.
• 모델은 조합된 지시(예: 공감과 스타일 제약 조건을 동시에 포함)에 일반화하며, 잠재적인 구성적 이해 능력을 보여준다.
• 제거 실험 결과, 지속적 학습 성공의 주요 원인은 자기지도 학습 사전 훈련이며, 지시 테이닝이나 모델 크기의 영향은 크지 않다.
• 모델은 도메인 특화 미세조정 없이도 코로나19 질문 응답과 같은 분포 외 작업에도 일반화할 수 있다.
• 이 방법은 데이터 및 계산적으로 효율적이며, 전체 재훈련을 피하고 소프트웨어 버전 관리와 유사한 점진적 모델 업데이트를 가능하게 한다.