[논문 리뷰] Small and Practical BERT Models for Sequence Labeling

Henry Tsai, Jason Riesa외 4명|arXiv (Cornell University)|2019. 08. 31.

Natural Language Processing Techniques참고 문헌 10인용 수 17

한 줄 요약

이 논문은 48개의 언어에서 70개의 트리뱅크에서 시퀀스 태깅 작업에 대해 최신 기술 성능을 달성하는 동시에 기존 BERT보다 6배 작고 27배 빠른 소형이고 효율적인 다국어 BERT 모델을 제안한다. 저자원 언어에서 뛰어난 성능을 보이며, 명시적인 훈련 없이도 코드 혼합 입력에 대해 강건한 성능을 발휘한다.

ABSTRACT

We propose a practical scheme to train a single multilingual sequence labeling model that yields state of the art results and is small and fast enough to run on a single CPU. Starting from a public multilingual BERT checkpoint, our final model is 6x smaller and 27x faster, and has higher accuracy than a state-of-the-art multilingual baseline. We show that our model especially outperforms on low-resource languages, and works on codemixed input text without being explicitly trained on codemixed examples. We showcase the effectiveness of our method by reporting on part-of-speech tagging and morphological prediction on 70 treebanks and 48 languages.

연구 동기 및 목표

• 단일의 소형이고 실용적인 다국어 모델을 개발하여, 단일 CPU에서 구동 가능한 고정밀도를 유지한다.
• 다국어 환경에서의 교차 언어 전이를 통해 저자원 언어에서의 성능을 향상시킨다.
• 명시적인 훈련 없이도 코드 혼합 입력에 대해 강건한 추론을 가능하게 한다.
• 대규모 다국어 BERT 모델의 성능 향상을 유지하면서 모델 크기와 추론 지연을 줄인다.
• 지식 정제가 강력한 베이스라인인 Meta-LSTM보다 다국어 시퀀스 태깅 작업에서 뛰어난 성능을 보이는 소형 모델을 도출할 수 있음을 입증한다.

제안 방법

• 104개 언어에서 사전 훈련된 대소문자 구분 다국어 BERT 모델을 사용하여, 각 토큰의 첫 번째 서어 조각에 소프트맥스 레이어를 적용해 시퀀스 태깅을 위한 미세조정을 수행한다.
• 지식 정제를 적용하여 대규모 다국어 BERT 모델을 히든 크기가 줄어든(256단위) 3층만을 가진 더 작은, 더 빠른 모델(MiniBERT)로 압축한다.
• 교수 모델의 부드러운 레이블을 사용하여 훈련함으로써, 압축된 아키텍처 내에서 고품질의 예측을 유지한다.
• 모든 48개 언어에서 통일된 훈련 설정을 사용하며, 훈련 중에 모든 트리뱅크의 예제를 연결하고 셔플링하여 공동 다국어 학습을 가능하게 한다.
• 70개 트리뱅크에서 유니버설 디펜던시 2.7 데이터셋을 사용해 품사 태깅 및 형태소 특징 예측을 평가한다.
• 명시적인 훈련 없이도 코드 혼합 힌두어-영어 데이터에 대해 강건성 테스트를 수행하며, 모델이 문맥에서 언어 경계를 인식할 수 있는 능력에 의존한다.

실험 결과

연구 질문

• RQ1 단일의 다국어 모델이 48개의 다양한 언어에서 시퀀스 태깅 작업에 대해 최신 기술 성능을 달성하면서도 소형이고 효율적인가?
• RQ2 지식 정제가 대규모 다국어 BERT 모델의 성능을 유지하면서 모델 크기와 추론 지연을 크게 줄일 수 있는가?
• RQ3 정제된 다국어 모델은 저자원 언어에서 언어별 또는 다국어 기반 베이스라인 대비 어떻게 성능을 내는가?
• RQ4 명시적인 훈련 없이도 다국어 모델이 코드 혼합 입력으로 일반화할 수 있는가?
• RQ5 고자원 언어에서 저자원 언어로의 교차 언어 전이가 다국어 환경에서 성능 향상에 얼마나 기여하는가?

주요 결과

• 정제된 모델(m MiniBERT)은 원본 다국어 BERT 모델보다 6배 작고 CPU에서 추론이 8.5ms 뿐이어서 27배 더 빠르다.
• m MiniBERT는 저자원 언어(예: 카자흐어, 마라티어)에서 평균 POS F1 점수 81.4를 기록하며, 다국어 Meta-LSTM(52.9 F1)을 뛰어넘고 BERT 기반 베이스라인과 동등하거나 초월한다.
• 힌두어-영어 코드 혼합 품사 태깅 작업에서 m MiniBERT는 79.5 F1을 기록했으며, 이는 지도 학습된 BERT 모델(90.6 F1)과 10점 이내에 머무르며, 훈련 중에 코드 혼합 데이터를 전혀 보지 못한 점을 감안할 때 놀라운 성능이다.
• 다국어 BERT 모델(m BERT)은 벨라루스어에서 품사 태깅에 95.0 F1, 리투아니아어에서는 90.0 F1을 기록했으며, 이는 어떤 언어별 모델이나 기존 베이스라인보다도 높은 성능이다.
• 훈련 예제가 500개 미만인 언어에서는 m MiniBERT가 다국어 Meta-LSTM과 개별 BERT 모델을 모두 압도하며, 강력한 제로샷 교차 언어 전이 능력을 보여준다.
• 정제된 모델는 전체 다국어 BERT 모델 성능의 95%를 유지하면서도 훨씬 더 효율적이므로, CPU 전용 시스템에서의 실질적 구현에 매우 실용적이다.