[논문 리뷰] SkillNet-NLU: A Sparsely Activated Model for General-Purpose Natural Language Understanding

Fan Zhang, Duyu Tang외 4명|arXiv (Cornell University)|2022. 03. 07.

Topic Modeling인용 수 7

한 줄 요약

SkillNet-NLU는 모든 파rameter를 미세조정하는 대신, 감성 분석 또는 질문 이해와 같은 작업에 관련된 스킬 모듈을 동적으로 활성화하는 희박하게 활성화된 일반 목적의 자연어 이해 모델을 제안한다. 이 모델은 여섯 개의 NLU 작업에서 작업별 미세조정 및 다중 작업 기반 모델보다 뛰어난 성능을 보이며, 희박한 사전학습이 성능을 추가로 향상시키고, 기존 스킬을 재사용함으로써 기존의 파라미터를 재학습하지 않고도 새로운 작업으로의 강력한 zero-shot 일반화 성능을 보인다.

ABSTRACT

Prevailing deep models are single-purpose and overspecialize at individual tasks. However, when being extended to new tasks, they typically forget previously learned skills and learn from scratch. We address this issue by introducing SkillNet-NLU, a general-purpose model that stitches together existing skills to learn new tasks more effectively. The key feature of our approach is that it is sparsely activated guided by predefined skills. Different from traditional dense models that always activate all the model parameters, SkillNet-NLU only activates parts of the model parameters whose skills are relevant to the target task. When learning for a new task, our approach precisely activates required skills and also provides an option to add new skills. We evaluate on natural language understandings tasks and have the following findings. First, with only one model checkpoint, SkillNet-NLU performs better than task-specific fine-tuning and two multi-task learning baselines (i.e., dense model and Mixture-of-Experts model) on six tasks. Second, sparsely activated pre-training further improves the overall performance. Third, SkillNet-NLU significantly outperforms baseline systems when being extended to new tasks.

연구 동기 및 목표

• 단일 작업 미세조정에서의 치명적인 잊힘 문제를 해결하기 위해 기존에 학습된 스킬을 유지하고 재사용할 수 있도록 하는 것.
• 모델 용량을 해석 가능하고 재사용 가능한 스킬 모듈로 분해하여 다양한 NLU 작업 간의 일반화 능력을 향상시키는 것.
• 추론 중에 관련된 스킬 모듈만 동적으로 활성화하여 파라미터 활성화를 줄이고 효율성을 향상시키는 것.
• 희박하게 활성화된 사전학습이 모델 성능과 이동성 향상에 얼마나 효과적인지 탐색하는 것.
• 다중 작업 미세조정과 희박한 활성화를 함께 지원하는 프레임워크를 개발하여 새로운 작업으로의 확장성 향상

제안 방법

• 모델는 특정 언어적 능력을 각각 대응하는 정의된, 파rameter가 부여된 스킬 모듈 집합(예: s1은 시퀀스 표현, s4는 감성 이해)을 중심으로 구성되며, 각 모듈은 특정한 언어 능력을 수행한다.
• 추론 중에는 대상 작업과 관련된 스킬 모듈만 활성화되고, 나머지는 비활성화되며, 이는 작업별 관련성에 의해 유도된다—이를 통해 희박한 활성화를 달성한다.
• 모든 작업에 공통으로 사용되는 통합 기본 스킬(s7)은 항상 활성화되어 새로운 또는 복합 작업을 처리함으로써 안정성을 확보한다.
• 모델는 다중 작업 미세조정과 희박한 사전학습을 모두 지원하며, 사전학습 중에는 관련 스킬 모듈만 업데이트된다.
• 아키텍처는 각 스킬에 대해 모듈러한 피드포워드 네트워크(FFN) 구조를 사용하며, 중국어 BERT에서 초기화되며, 스킬 추가를 점진적으로 지원한다.
• 다중 작업 학습의 샘플링 비율은 데이터셋 균형을 유지하기 위해 조정되며, α=1.0이 성능 저하를 방지하기 위해 최적임이 확인되었다.

실험 결과

연구 질문

• RQ1 재사용 가능한 스킬 모듈을 갖춘 희박하게 활성화된 모델이 여러 NLU 작업에서 작업별 미세조정보다 뛰어난 성능을 보일 수 있는가?
• RQ2 스킬 모듈의 희박한 활성화가 성능과 일반화에 미치는 영향은 무엇이며, 특히 새로운 작업으로 확장할 경우 어떻게 되는가?
• RQ3 희박하게 활성화된 사전학습은 조밀한 사전학습에 비해 전체 성능과 이동성 향상에 기여하는가?
• RQ4 개별 스킬 모듈이 모델 성능에 기여하는 정도는 어느 정도이며, 특정 작업에 있어 가장 핵심적인 스킬은 무엇인가?
• RQ5 스킬 레이어의 수가 다중 작업 및 zero-shot 설정에서 모델 용량과 성능에 미치는 영향는 어떠한가?

주요 결과

• SkillNet-NLU는 여섯 개의 NLU 작업에서 평균 점수 77.37을 기록하며, 작업별 미세조정 및 두 개의 다중 작업 학습 기반 모델(조밀 모델 및 MoE)보다 뛰어난 성능을 보였다.
• 제거 실험 결과, 어떤 스킬 모듈을 제거해도 성능 저하가 발생했으며, 특히 모든 작업에 공통으로 사용되는 일반 목적의 스킬 s7를 제거했을 때 가장 큰 성능 하락이 발생했다.
• 감성 분석(s4)이나 질문 이해(s5)와 같은 작업별 스킬을 제거하면 각각 해당 작업에서 급격한 성능 저하가 발생함으로써 이들의 필수성과 필요성을 확인했다.
• SkillNet-NLU 레이어의 수가 많아질수록 성능이 지속적으로 향상되었으며, 3개 레이어일 때 평균 점수 76.5%에서 12개 레이어일 때 77.4%로 상승함으로써 확장성과 학습 능력 향상을 입증했다.
• 희박한 사전학습이 성능을 추가로 향상시키며, 관련 스킬만 선택적으로 사전학습함으로써 일반화 및 효율성 향상에 기여함을 시사했다.
• 새로운 작업으로의 확장 시 SkillNet-NLU는 기준 모델보다 뚜렷이 뛰어난 성능을 보였으며, 재학습 없이 기존 스킬을 재사용함으로써 강력한 zero-shot 전이 능력을 입증했다.