[논문 리뷰] Lifelong Language Knowledge Distillation

Yung-Sung Chuang, Shang‐Yu Su외 1명|arXiv (Cornell University)|2020. 10. 05.

Topic Modeling참고 문헌 22인용 수 5

한 줄 요약

이 논문은 생애주기 언어 학습(Lifelong Language Learning, LLL)을 향상시키기 위해 각 새로운 작업의 학습 중에 작업별로 특화된 교사 모델을 통해 주요 LLL 모델에 지식을 전달하는 방법인 생애주기 언어 지식 정련(Lifelong Language Knowledge Distillation, L2KD)을 제안한다. 각 작업마다 폐기 가능한 교사 모델을 사용해 지식 정련을 적용함으로써 L2KD는 치명적 기억상실을 줄이고, 메모리 오버헤드가 최소화된 상태에서 순차적 생성 및 텍스트 분류 작업 전반에서 다중작업 학습 기준 성능의 2%-3% 이내 성능을 달성한다.

ABSTRACT

It is challenging to perform lifelong language learning (LLL) on a stream of different tasks without any performance degradation comparing to the multi-task counterparts. To address this issue, we present Lifelong Language Knowledge Distillation (L2KD), a simple but efficient method that can be easily applied to existing LLL architectures in order to mitigate the degradation. Specifically, when the LLL model is trained on a new task, we assign a teacher model to first learn the new task, and pass the knowledge to the LLL model via knowledge distillation. Therefore, the LLL model can better adapt to the new task while keeping the previously learned knowledge. Experiments show that the proposed L2KD consistently improves previous state-of-the-art models, and the degradation comparing to multi-task models in LLL tasks is well mitigated for both sequence generation and text classification tasks.

연구 동기 및 목표

• 순차적으로 다양한 NLP 작업을 학습할 때 생애주기 언어 학습(Lifelong Language Learning, LLL)에서 치명적 기억상실을 해결하기 위해.
• 다중작업 학습 기준 성능에 비해 성능 저하를 줄이기 위해 기존 LLL 방법(예: LAMOL)을 초월하기 위해.
• 이전 모델을 저장하거나 모델 용량을 늘리지 않는 메모리 효율적인 방법을 개발하기 위해.
• 들어오는 각 작업마다 새로운 작업별 특화 교사 모델을 사용해 생애주기 언어 학습(LLL)에서 지식 정련을 탐색하기 위해.
• 다양한 정련 전략(단어 수준 및 시퀀스 수준)이 작업 간 지식 유지에 얼마나 효과적인지 평가하기 위해.

제안 방법

• 각 도입 작업에 대해 새로 시작하여 작업별 특화 교사 모델을 훈련시켜 지식 소스로 활용한다.
• 주요 LLL 모델(학생)은 훈련 중에 교사의 예측을 모방함으로써 지식 정련을 수행한다.
• 단어 수준(부드러운 레이블 간 교차 엔트로피 손실)과 시퀀스 수준(퍼플렉서티 기반)의 목적함수를 모두 사용해 지식 정련을 적용한다.
• 정련 후 교사 모델은 폐기되며, 지속적인 저장이나 추가 모델 용량이 필요하지 않다.
• 이 방법은 NLP 작업들을 질문-응답 및 언어 모델링 형식으로 통합하는 LAMOL 프레임워크에 통합된다.
• 질문-응답 및 언어 모델링 훈련 단계 모두에 정련을 적용하여 일반화 및 기억 유지 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 새로운 작업별 특화 교사 모델에서의 지식 정련이 생애주기 언어 학습에서 치명적 기억상실을 줄일 수 있는가?
• RQ2 성능 및 기억상실 완화 측면에서 L2KD는 다중작업 학습 및 이전의 LLL 방법과 비교해 어떻게 성과를 내는가?
• RQ3 단어 수준 정련과 시퀀스 수준 정련 중 어느 전략이 LLL에서 최고의 성능과 일반화 능력을 제공하는가?
• RQ4 LLL 모델이 교사의 행동을 완전히 복제하는가, 아니면 미지의 예측에 대해 이전성(transferability)을 유지하는가?
• RQ5 메모리나 모델 용량을 늘리지 않고 L2KD를 효율적으로 적용할 수 있는가?

주요 결과

• L2KD는 평가된 모든 설정에서 일관되게 성능을 향상시켰으며, 다중작업 학습 기준과의 격차를 최대 2%-3%까지 줄였다.
• 순차적 생성 작업에서 L2KD는 단어 수준 정련을 사용해 Yelp 데이터셋에서 99.2%의 정확도를 달성했으며, 기본 LAMOL 모델을 능가했다.
• 텍스트 분류 작업에서는 L2KD가 단어 수준 정련을 사용해 정확도를 LAMOL의 75.48%에서 77.11%로 향상시켰으며, 교사가 올바르게 답변한 예시 그룹(A)에서 뚜렷한 향상이 있었다.
• LLL 모델이 교사의 행동을 완전히 복제하지는 않았으며, 잘못된 답변을 내린 교사 예시 그룹(B)에서 성능이 안정되거나 약간 향상되어 지식 통합의 강건성을 보였다.
• 시퀀스 수준 정련(Sequence-KD)은 단어 수준 정련과 유사한 성능를 보였으며, 부드러운 레이블 기반 시퀀스 정련은 TC 벤치마크에서 76.8%의 정확도를 기록했다.
• 교사 모델을 위한 추가 훈련 시간이 거의 필요로 하며, 추가 메모리가 전혀 필요 없어 실세계 적용에 실용적이다.