[논문 리뷰] MVP-BERT: Redesigning Vocabularies for Chinese BERT and Multi-Vocab Pretraining

Wei Zhu|arXiv (Cornell University)|2020. 11. 17.

Topic Modeling참고 문헌 28인용 수 4

한 줄 요약

이 논문은 중국어 BERT의 어휘를 중국어 어절 분할과 서브워드 토큰화(이하 seg_tok)를 활용해 재설계하는 MVP-BERT를 제안하며, 모델의 표현력을 향상시키기 위해 계층적, 쌍방향, 목적 기반의 세 가지 다중어휘 미리 학습 전략(MVP)을 도입한다. 실험 결과 seg_tok는 문장 수준 작업에서 성능과 효율성을 향상시키며, 특히 MVP_obj와 MVP_pair 전략이 NER와 같은 시퀀스 레이블링 작업에서 성능을 크게 향상시킨다. MVP_obj는 반절 이하의 학습 시간으로 경쟁 수준의 성능을 달성한다.

ABSTRACT

Despite the development of pre-trained language models (PLMs) significantly raise the performances of various Chinese natural language processing (NLP) tasks, the vocabulary for these Chinese PLMs remain to be the one provided by Google Chinese Bert \cite{devlin2018bert}, which is based on Chinese characters. Second, the masked language model pre-training is based on a single vocabulary, which limits its downstream task performances. In this work, we first propose a novel method, \emph{seg\_tok}, to form the vocabulary of Chinese BERT, with the help of Chinese word segmentation (CWS) and subword tokenization. Then we propose three versions of multi-vocabulary pretraining (MVP) to improve the models expressiveness. Experiments show that: (a) compared with char based vocabulary, \emph{seg\_tok} does not only improves the performances of Chinese PLMs on sentence level tasks, it can also improve efficiency; (b) MVP improves PLMs' downstream performance, especially it can improve \emph{seg\_tok}'s performances on sequence labeling tasks.

연구 동기 및 목표

• 문자 기반 어휘의 한계로 인해 중국어 BERT에서 의미 학습과 효율성이 저해되는 문제를 해결하기 위해.
• 더 나은 최종 성능를 얻기 위해 어휘 수준의 의미와 서브워드의 유연성을 균형 잡는 대안적 어휘 설계를 탐색하기 위해.
• 다양한 어휘를 미리 학습 단계에서 통합함으로써 모델의 표현력을 향상시키는 다중어휘 미리 학습(MVP) 전략을 개발하기 위해.
• seg_tok 및 MVP 전략의 효과성을 다양한 중국어 NLP 벤치마크, 특히 시퀀스 레이블링 작업에서 평가하기 위해.
• 성능와 학습 비용 간의 트레이드오프를 분석함으로써 단일어휘 모델에 대한 자원 효율적인 대안을 제공하기 위해.

제안 방법

• 문자 기반 토큰화보다 더 의미적으로 유의미한 어휘를 생성하기 위해 중국어 어절 분할(CWS)과 서브워드 토큰화를 융합한 하이브리드 어휘 구축 방법인 seg_tok을 제안한다.
• 문자 임베딩을 어절 수준 표현으로 통합한 후 트랜스포머 인코더에 입력하는 계층적 다중어휘 전략인 MVP_hier를 도입한다.
• 두 가지 다른 어휘(예: 문자와 seg_tok)를 동시에 사용하는 공유 파라미터를 가진 이중 인코더 아키텍처인 MVP_pair를 설계하며, 손실에 가중치 계수 λ를 적용한다.
• 일반적인 어휘(예: seg_tok)를 보조 목적(Objective)으로 사용하여 서브워드 표현에서 전체 어절을 예측하는 단일 인코더 전략인 MVP_obj를 개발한다. 이는 의미 학습을 강화한다.
• 일관된 다자어 어절 예측을 보장하기 위해 미리 학습 단계에서 전체어절 마스킹을 적용한다. 이는 언어 단위와의 일치를 향상시킨다.
• MVP_pair에서 서로 다른 어휘의 손실 기여도를 조절하기 위해 상대적 중요도 계수 λ를 사용하며, 최적의 트레이드오프에 대한 분석을 가능하게 한다.

실험 결과

연구 질문

• RQ1 문장 수준의 NLP 작업에서 표준 문자 기반 어휘보다 분할된 어절 기반 어휘(seg_tok)가 성능을 뛰어넘을 수 있는가?
• RQ2 다중어휘 미리 학습(MVP) 전략은 단일어휘 미리 학습 대비 중국어 PLM의 표현력과 최종 성능에 어떤 영향을 미치는가?
• RQ3 계층적, 쌍방향, 목적 기반 전략과 같은 다양한 MVP 전략이 모델 정확도와 학습 효율성에 어떤 영향을 미치는가?
• RQ4 상대적 중요도 계수 λ는 MVP_pair의 성능에 어떤 영향을 미치며, 다양한 최종 작업에 최적의 설정은 무엇인가?
• RQ5 자원 제약이 있는 환경에서 MVP_obj는 상당히 감소된 학습 비용으로 MVP_pair에 근접한 성능을 달성할 수 있는가?

주요 결과

• seg_tok 어휘는 문자 기반 BERT 대비 문장 수준 작업(LCQMC, MSRA 등)에서 최대 2.46% 향상된 성능을 기록하며, 더 짧은 시퀀스로 인해 더 빠른 추론을 가능하게 한다.
• MVP_obj는 (char, seg_tok) 조합으로 LCQMC에서 86.10%의 정확도와 NER에서 73.95%의 정확도를 달성하여 단일어휘 모델을 초월하고, 전체 앙상블 모델에 근접한 성능을 보였다.
• 양쪽 인코더를 모두 사용하는 MVP_pair(e, ftc)는 LCQMC에서 87.96%, MSRA에서 80.05%의 성능을 기록하여 앙상블 학습이 성능 향상에 기여함을 입증했다. 특히 NER 작업에서 두드러진 효과를 보였다.
• 자세한 단계에서 거친 단계로의 MVP_pair(char → seg_tok)가 NER에서 더 높은 성능을 보였으며, 이는 거친 수준의 감독이 강력한 표현을 학습하는 데 도움이 된다는 것을 시사한다.
• λ=2.0로 설정한 MVP_obj는 반절 이하의 학습 시간으로 MVP_pair에 근접한 성능을 달성하여 자원이 제한된 환경에서 더 효율적인 대안이 된다.
• MVP_pair의 경우 λ를 1.0 초과로 증가시키면 NER 작업에서 성능 저하가 발생하지만, 문장 수준 작업에서는 성능 향상이 관찰되어 최적의 λ 값은 작업에 따라 다름을 확인했다.