[논문 리뷰] BitFit: Simple Parameter-efficient Fine-tuning for Transformer-based Masked Language-models

Elad Ben Zaken, Shauli Ravfogel외 1명|arXiv (Cornell University)|2021. 06. 18.

Natural Language Processing Techniques인용 수 10

한 줄 요약

BitFit는 사전 훈련된 BERT 모델의 편향 항목만 업데이트하는 파rameter 효율적인 미세조정 방법으로, GLUE 작업에서 전체 미세조정과 동등한 성능을 달성하며, 소규모에서 중간 규모의 데이터 환경에서는 전체 미세조정을 능가한다. 이 방법은 모델 파라미터의 0.04%만 수정함으로써 효율적인 다중 작업 배포를 가능하게 하며, 최소한의 계산 오버헤드로 작업에 관계없이 스트림 기반 학습을 지원한다.

ABSTRACT

We introduce BitFit, a sparse-finetuning method where only the bias-terms of the model (or a subset of them) are being modified. We show that with small-to-medium training data, applying BitFit on pre-trained BERT models is competitive with (and sometimes better than) fine-tuning the entire model. For larger data, the method is competitive with other sparse fine-tuning methods. Besides their practical utility, these findings are relevant for the question of understanding the commonly-used process of finetuning: they support the hypothesis that finetuning is mainly about exposing knowledge induced by language-modeling training, rather than learning new task-specific linguistic knowledge.

연구 동기 및 목표

• 사전 훈련된 트랜스포머의 편향 항목만 업데이트함으로써 미세조정을 매우 파rameter 효율적으로 만들 수 있는지 탐색하기 위해.
• 특히 저데이터 환경에서 편향 항목 전용 미세조정이 전체 미세조정 성능를 따라잡거나 뛰어넘을 수 있는지 조사하기 위해.
• 최소한의 메모리 및 파라미터 오버헤드로 다수의 NLP 모델을 작업에 관계없이 일관되게 스트림 기반으로 배포할 수 있도록 하기 위해.
• 편향 항목이 사전 훈련에서 다운스트림 작업으로 지식을 전달하는 데 어떤 역할을 하는지 이해하기 위해.
• 전체 파라미터 업데이트가 효과적인 미세조정을 위해 필수적이라는 가정을 도전하기 위해.

제안 방법

• 모든 트랜스포머 인코더 가중치를 동결하고, 모든 레이어와 어텐션 헤드에서 편향 항목만 미세조정한다.
• 동결된 인코더 위에 작업에 특화된 분류 헤드를 유지하며, 이 헤드를 편향 항목과 함께 종단 간(end-to-end)으로 훈련한다.
• 표준 backpropagation를 사용하여 오직 편향 파라미터만 업데이트하고, 나머지 모든 가중치는 고정한다.
• 모든 작업에 동일한 편향 업데이트 전략을 적용하여 일관되고 재사용 가능한 모델 가중치를 가능하게 한다.
• 미세조정을 오직 두 가지 편향 구성요소—쿼리와 MLP 중간층—로 제한하여 0.04%의 파라미터 업데이트 비율을 달성한다.
• 다양한 훈련 데이터 크기에서 GLUE 및 SQuAD 작업에서의 성능을 평가하여 데이터 효율성의 정도를 분석한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 BERT 모델의 편향 항목만 미세조정하는 것이 전체 미세조정 성능와 동등한 성능을 달성할 수 있는가?
• RQ2 저데이터 환경에서 편향 항목 전용 미세조정이 전체 미세조정을 능가하는가?
• RQ3 재훈련 없이도 동일한 업데이트된 편향 파라미터 세트를 여러 다운스트림 작업에 재사용할 수 있는가?
• RQ4 미세조정이 주로 사전 훈련 과정에서 학습된 지식을 드러내는 데서 비롯하는지, 새로운 언어 패턴을 학습하는 데서 비롯하는지의 정도는 어느 정도인가?
• RQ5 편향 항목이 미세조정 과정에서 모델의 행동 변화에 어떻게 기여하는가?

주요 결과

• BitFit는 모든 GLUE 작업에서 전체 미세조정과 동등한 성능를 달성하였으며, BERT BASE에서 SQuAD의 정확도 점수는 정확히 97.2를 기록했다.
• 소규모에서 중간 규모의 훈련 데이터에서 BitFit는 전체 미세조정을 능가하며, 특히 더 작은 서브셋을 사용한 SQuAD v1.0에서 두드러진 성능 향상을 보였다.
• 쿼리와 MLP 중간층의 두 편향 구성요소만을 미세조정함으로써 0.04%의 파라미터 업데이트 비율을 달성하면서도 경쟁력 있는 정확도를 유지했다.
• BitFit는 작업에 관계없이 일관성을 유지한다: 동일한 편향 파라미터를 재훈련 없이 다양한 작업에 재사용할 수 있다.
• 대부분의 모델을 하드웨어에 하드웨어로 구현함으로써 효율적인 하드웨어 배포를 가능하게 하였으며, 변경 가능한 편향 파라미터는 몇 개뿐이었다.
• 결과는 미세조정이 주로 사전 훈련 과정에서 학습된 지식을 드러내는 데서 비롯되며, 새로운 언어 지식을 학습하는 데서 비롯되지 않는다는 가설을 지지한다.