[논문 리뷰] Raise a Child in Large Language Model: Towards Effective and Generalizable Fine-tuning

Runxin Xu, Fuli Luo외 5명|arXiv (Cornell University)|2021. 09. 13.

Topic Modeling참고 문헌 33인용 수 4

한 줄 요약

이 논문은 백프로파게이션 중 기울기 마스킹을 통해 일부 파라미터(즉, '차일드 네트워크')만 선택적으로 업데이트하는 새로운 피니어튜닝 방법인 Child-Tuning을 제안한다. 이 방법은 대규모 언어 모델의 성능 향상과 일반화 능력을 향상시킨다. 기존의 피니어튜닝 대비 최대 8.6점의 성능 향상을 기록하며, GLUE 벤치마크와 전이 학습 시나리오 전반에서 기존 방법들을 일관되게 능가한다.

ABSTRACT

Recent pretrained language models extend from millions to billions of parameters. Thus the need to fine-tune an extremely large pretrained model with a limited training corpus arises in various downstream tasks. In this paper, we propose a straightforward yet effective fine-tuning technique, Child-Tuning, which updates a subset of parameters (called child network) of large pretrained models via strategically masking out the gradients of the non-child network during the backward process. Experiments on various downstream tasks in GLUE benchmark show that Child-Tuning consistently outperforms the vanilla fine-tuning by 1.5~8.6 average score among four different pretrained models, and surpasses the prior fine-tuning techniques by 0.6~1.3 points. Furthermore, empirical results on domain transfer and task transfer show that Child-Tuning can obtain better generalization performance by large margins.

연구 동기 및 목표

• 제한된 데이터에서 대규모 사전학습된 언어 모델을 피니어튜닝할 때 흔히 발생하는 과적합 및 일반화 능력 부족 문제를 해결한다.
• 모델의 일부 파라미터에만 업데이트를 제한하여 지식 유실 위험을 완화한다.
• 추가 파라미터 없이도 도메인 내 및 도메인 외 전이 성능을 향상시키는 방법을 개발한다.
• 피니어튜닝을 위한 가장 관련성이 높은 파라미터 하위망원(차일드 네트워크)을 식별하기 위한 태스크 프리 및 태스크 드리븐 전략을 탐색한다.
• 기존 정규화 및 파라미터 효율적 피니어튜닝 방법과 수직인 기법을 제공하여, 이를 결합할 경우 추가적인 성능 향상을 이끌어내도록 한다.

제안 방법

• 백프로파게이션 중 기울기 마스크를 적용하여 차일드 네트워크에 속하지 않은 모든 파라미터의 기울기를 0으로 설정함으로써, 오직 차일드 네트워크만 업데이트되도록 한다.
• 태스크 프리 접근 방식(Child-Tuning F)을 사용하여 전체 기울기의 베르누이 마스크를 적용함으로써 정규화를 위한 확률적 요소를 도입한다.
• 태스크 드리븐 접근 방식(Child-Tuning D)을 사용하여 피셔 정보 행렬(Fisher Information Matrix, FIM)을 통해 가장 태스크 관련성이 높은 파라미터를 식별하고, 비-차일드 파라미터의 기울기를 마스킹한다.
• 모델 프루닝과 달리 전체 모델을 그대로 통과시키는 전방향 프로세스를 유지하여 사전학습된 가중치의 지식을 보존한다.
• Child-Tuning D의 경우, 학습 이전에 FIM을 사용해 차일드 네트워크를 탐지함으로써, 피니어튜닝 중에 효율적인 기울기 마스킹을 가능하게 한다.
• 기존 방법과의 통합을 위해 기울기 마스크를 후처리 단계로 적용함으로써, 다른 정규화 기법과 수직적 성격을 유지한다.

실험 결과

연구 질문

• RQ1 기울기 마스킹을 통한 선택적 파라미터 업데이트가 소규모 도메인 내 데이터셋에서의 피니어튜닝 성능 향상에 기여하는가?
• RQ2 기본 피니어튜닝 대비 Child-Tuning이 도메인 외 및 태스크 간 전이 설정에서 일반화 능력을 향상시키는가?
• RQ3 성능 및 강건성 측면에서 태스크 프리 버전(Child-Tuning F)과 태스크 드리븐 버전(Child-Tuning D) 간의 성능 차이는 어떠한가?
• RQ4 Child-Tuning은 기존 피니어튜닝 기법들과 얼마나 잘 조합되어 추가 성능 향상을 이끌 수 있는가?
• RQ5 다양한 NLP 작업 간에 식별된 차일드 네트워크는 얼마나 안정적이고 이식 가능성이 있는가?

주요 결과

• GLUE 벤치마크에서 사전학습된 네 가지 다른 모델에 대해 Child-Tuning은 기본 피니어튜닝 대비 평균 1.5~8.6점의 성능 향상을 기록한다.
• 동일한 벤치마크에서 Child-Tuning은 기존 최고 성능의 피니어튜닝 방법들보다 평균 0.6~1.3점 높은 성능을 기록한다.
• 도메인 전이 및 태스크 전이 설정에서 Child-Tuning은 유의미하게 높은 일반화 성능을 달성하며, 유사한 태스크 간에 차일드 네트워크 선택에 높은 겹침을 보인다.
• 태스크 드리븐 차일드 네트워크 선택(Child-Tuning D)은 NLI 태스크인 RTE, QNLI, MNLI 간에 높은 재현율(Jaccard similarity, 최대 약 0.7)을 보이며, 관련 파라미터를 일관되게 식별하고 있음을 시사한다.
• 태스크 프리 버전인 Child-Tuning F는 기울기 노이즈 주입을 통해 소규모 데이터셋에서의 과적합을 감소시켜, 탐지 시 태스크 데이터가 필요 없이도 일반화 능력을 향상시킨다.
• Child-Tuning을 기존 방법들과 통합할 경우 추가 성능 향상이 이루어지며, 이는 그 방법이 현재 피니어튜닝 패러다임과 호환되며 수직적 성격을 지닌다는 것을 확인한다.