[논문 리뷰] ALBERT: A Lite BERT for Self-supervised Learning of Language Representations

Zhenzhong Lan, Mingda Chen외 4명|arXiv (Cornell University)|2019. 09. 26.

Topic Modeling참고 문헌 59인용 수 984

한 줄 요약

ALBERT는 파라미터 효율적 기법(인자 분해 임베딩 및 층 간 파라미터 공유)과 문장 순서 예측 손실을 도입하여 BERT와 유사한 모델을 훨씬 적은 매개변수로 확장하고 GLUE, SQuAD, RACE에서 최첨단 성능을 달성한다.

ABSTRACT

Increasing model size when pretraining natural language representations often results in improved performance on downstream tasks. However, at some point further model increases become harder due to GPU/TPU memory limitations and longer training times. To address these problems, we present two parameter-reduction techniques to lower memory consumption and increase the training speed of BERT. Comprehensive empirical evidence shows that our proposed methods lead to models that scale much better compared to the original BERT. We also use a self-supervised loss that focuses on modeling inter-sentence coherence, and show it consistently helps downstream tasks with multi-sentence inputs. As a result, our best model establishes new state-of-the-art results on the GLUE, RACE, and \squad benchmarks while having fewer parameters compared to BERT-large. The code and the pretrained models are available at https://github.com/google-research/ALBERT.

연구 동기 및 목표

• 성능 저하 없이 대형 BERT 스타일 모델의 메모리 사용을 줄이고 학습 속도를 높인다.
• 다운스트림 작업 성능을 유지하거나 향상시키는 동시에 새로운 아키텍처적 선택을 통해 매개변수 효율성을 개선한다.
• 문장 간 응집성을 더 잘 포착하기 위해 자기지도 학습 문장 순서 예측 작업으로 프리트레이닝을 강화한다.
• BERT-large에 비해 현저히 적은 매개변수로 널리 사용되는 NLP 벤치마크에서 최첨단 결과를 보여준다.

제안 방법

• 어휘 임베딩 크기를 은닉 크기와 분리하기 위해 팩터라이즈된 임베딩 매개변수를 도입한다.
• 트랜스포머 층 간에 매개변수를 재사용하기 위한 층 간 파라미터 공유를 적용한다.
• NSP를 더 도전적인 문장 순서 예측(SOP) 목표로 교체하여 문장 간 응집성을 모델링한다.
• BookCorpus 와 Wikipedia에서 MLM 및 SOP 손실을 사용하여 사전 학습하고, 어휘 크기 3만(30k)과 입력 512 토큰을 사용한다.
• GLUE, SQuAD(v1.1/v2.0), RACE에서 미세 조정 및 임베딩 크기 E 및 공유 방식 변화를 포함한 제거 실험으로 평가한다.
• 매개변수 효율성과 학습 속도를 정량하기 위해 다양한 구성에서 BERT 기준선과 비교한다.

실험 결과

연구 질문

• RQ1 ALBERT가 BERT 변형에 비해 다운스트림 작업 성능을 유지하거나 향상시키면서 매개변수 수를 실질적으로 줄일 수 있는가?
• RQ2 층 간 파라미터 공유가 대형 Transformer 모델에서 학습을 안정화시키고 일반화 성능을 향상시키는가?
• RQ3 문장 순서 기반의 자기지도 목표(SOP)가 다중 문장 인코딩 작업을 가능하게 하는 데 NSP보다 더 효과적인가?
• RQ4 임베딩 크기를 은닉 크기와 분리하는 것이 모델 성능 및 확장성에 어떤 영향을 미치는가?
• RQ5 확대 시 ALBERT와 BERT 간 데이터 처리량과 학습 시간은 어떻게 비교되는가?]
• RQ6 table_headers: [
• RQ7 Model
• RQ8 Parameters
• RQ9 SQuAD1.1
• RQ10 SQuAD2.0
• RQ11 MNLI
• RQ12 SST-2
• RQ13 RACE
• RQ14 Avg
• RQ15 Speedup

주요 결과

모델	매개변수	SQuAD1.1	SQuAD2.0	MNLI	SST-2	RACE	평균	가속도
BERT base	108M	90.4/83.2	80.4/77.6	84.5	92.8	68.2	4.7x
BERT large	334M	92.2/85.5	85.0/82.2	86.6	93.0	73.9	1.0
ALBERT base	12M	89.3/82.3	80.0/77.1	81.6	90.3	64.0	80.1
ALBERT large	18M	90.6/83.9	82.3/79.4	83.5	91.7	68.5	1.7x
ALBERT xlarge	60M	92.5/86.1	86.1/83.1	86.4	92.4	74.8	0.6x
ALBERT xxlarge	235M	94.1/88.3	88.1/85.1	88.0	95.2	82.3	0.3x

• ALBERT는 BERT-large보다 약 18배 더 적은 매개변수(예: ALBERT-large 18M 대 BERT-large 334M)로도 경쟁력 있거나 더 나은 다운스트림 성능을 달성한다.
• ALBERT-xxlarge (60M params) surpasses BERT-large on several tasks (e.g., SQuAD 1.1/2.0, MNLI, SST-2, RACE) and shows notable improvements in average downstream performance.
• ALBERT demonstrates higher data throughput during training and can be 1.7x to 3x faster in iterations for comparable baselines, despite smaller parameter counts.
• Factorized embedding (E=128) with all layers sharing parameters yields strong performance and enables scaling to larger hidden sizes without exploding parameter counts.
• The SOP objective improves downstream performance for multi-sentence tasks and outperforms NSP in both intrinsic and downstream evaluations.
• Removing dropout in large ALBERT models can further improve MLM accuracy and downstream results, indicating different regularization needs for large Transformers.
• On GLUE, SQuAD, and RACE benchmarks, ALBERT achieves state-of-the-art results (e.g., GLUE ~89.4, SQuAD 2.0 F1 ~92.2, RACE ~89.4) in single-model and ensemble settings.