[논문 리뷰] LightMBERT: A Simple Yet Effective Method for Multilingual BERT Distillation

Xiaoqi Jiao, Yichun Yin외 6명|arXiv (Cornell University)|2021. 03. 11.

Topic Modeling참고 문헌 22인용 수 5

한 줄 요약

LightMBERT는 다국어 BERT(mBERT)의 다국어 일반화 능력을 더 작은 학생 모델로 전이하기 위해 단순하면서도 효과적인 지식 정련 방법을 제안한다. 학생 모델을 mBERT의 하단 계층으로 초기화하고, 공유 서브워드 임베딩을 동결하며, 다국어 비지도 데이터에서 상단 계층 정련을 수행함으로써, LightMBERT는 mBERT와 유사한 성능를 달성하면서도 자원 제한된 장치에 배포하기에 훨씬 더 효율적이다.

ABSTRACT

The multilingual pre-trained language models (e.g, mBERT, XLM and XLM-R) have shown impressive performance on cross-lingual natural language understanding tasks. However, these models are computationally intensive and difficult to be deployed on resource-restricted devices. In this paper, we propose a simple yet effective distillation method (LightMBERT) for transferring the cross-lingual generalization ability of the multilingual BERT to a small student model. The experiment results empirically demonstrate the efficiency and effectiveness of LightMBERT, which is significantly better than the baselines and performs comparable to the teacher mBERT.

연구 동기 및 목표

• 고지연과 높은 메모리 사용으로 인해 자원 제한된 장치에 큰 다국어 BERT 모델을 배포하는 데 발생하는 과제를 해결하기 위해.
• mBERT의 다국어 일반화 능력을 더 작은 학생 모델에 유지하는 효율적인 지식 정련 방법을 개발하기 위해.
• 학생 모델을 mBERT의 하단 계층으로 초기화하고 임베딩을 동결하는 것이 정련 효율성과 성능에 기여하는지 조사하기 위해.
• 다양한 언어에서 0-샷 다국어 설정에서 상단 계층 정련과 균일 정련 간의 효과를 평가하기 위해.

제안 방법

• 교사 모델인 mBERT의 임베딩 계층과 하단 트랜스포머 계층을 사용해 학생 모델을 초기화하여 초기 지식을 이어받기 위해.
• 학습 중에 학생 모델의 공유 서브워드 임베딩을 동결하여 다국어 정렬을 유지하고 학습을 안정화하기 위해.
• 학생 모델의 상단 트랜스포머 계층에서만 지식 정련을 수행하며, 주의 분포와 은닉 상태 정련 손실을 사용하기 위해.
• 교사 모델과 학생 모델의 상단 계층에서 주의 행렬과 은닉 상태를 일치시키기 위해 평균 제곱오차(MSE) 손실을 사용하기 위해.
• 다국어 단일언어 코퍼스의 대규모 비지도 데이터를 사용해 학생 모델을 훈련시켜 다국어 전이 능력을 향상시키기 위해.
• 결합 손실 함수를 적용: $\mathcal{L}_{\text{layer}} = \mathcal{L}_{\text{attn}} + \mathcal{L}_{\text{hidn}}$, 여기서 $\mathcal{L}_{\text{attn}}$ 과 $\mathcal{L}_{\text{hidn}}$ 은 각각 주의와 은닉 상태에 대한 MSE 손실이다.

실험 결과

연구 질문

• RQ1 mBERT의 하단 계층으로 학생 모델을 초기화하는 것이 다국어 지식 정련에서 정련 효율성과 성능을 크게 향상시키는가?
• RQ2 정련 중에 공유 서브워드 임베딩을 동결하는 것이 다국어 일반화 능력과 학습 안정성에 기여하는가?
• RQ3 다국어 환경에서 상단 계층 정련이 모든 계층에 걸쳐 균일하게 정련하는 것보다 더 효과적인가?
• RQ4 정련된 학생 모델이 0-샷 다국어 작업에서 전체 mBERT 교사 모델에 가까운 성능를 달성할 수 있는가?

주요 결과

• LightMBERT는 15개 언어에서 평균 XNLI 점수 70.3을 기록하여 모든 베이스라인을 앞서며, mBERT 교사 모델(70.5)과 매우 유사한 성능를 달성했다.
• 공유 서브워드 임베딩을 동결함으로써 평균 0.6% 향상된 성능를 확인하여, 이들이 다국어 정렬에 중요한 역할을 한다는 것을 입증했다.
• 상단 계층 정련은 균일 정련보다 더 좋은 결과를 내었으며, 균일 기반선 대비 평균 1.7% 향상된 성능를 기록했다.
• DistilmBERT(65.2 평균 점수)와 TinyMBERT(68.2 평균 점수)를 크게 앞서며, 뛰어난 정련 효율성을 입증했다.
• 조금 더 작은 mBERT_drop(자르기된 mBERT)도 DistilmBERT를 앞서지만, LightMBERT는 이보다 3.2% 더 높은 성능를 기록하여 손실된 지식을 효과적으로 복구했다.
• 제거 실험을 통해 초기화, 임베딩 동결, 상단 계층 정련 각각의 구성 요소가 최종 성능에 의미 있는 기여를 한다는 것을 확인했다.