[논문 리뷰] AMBERT: A Pre-trained Language Model with Multi-Grained Tokenization

Xinsong Zhang, Pengshuai Li외 1명|arXiv (Cornell University)|2020. 08. 27.

Topic Modeling참고 문헌 38인용 수 11

한 줄 요약

AMBERT는 공유 파rameter 인코더를 사용하여 미세한(granular) (단어/서브워드) 및 굵은(granular) (구/단어) 토큰에 대한 맥락 기반 표현을 동시에 학습하는 다중 그레인 BERT 모델을 제안한다. 중국어 CLUE에서 BERT보다 평균 2.7% 향상되었고, 여러 영어 벤치마크에서 3.0% 이상 향상되었으며, 단일 인코더만 사용하는 효율적인 추론 버전을 제공한다.

ABSTRACT

Pre-trained language models such as BERT have exhibited remarkable performances in many tasks in natural language understanding (NLU). The tokens in the models are usually fine-grained in the sense that for languages like English they are words or sub-words and for languages like Chinese they are characters. In English, for example, there are multi-word expressions which form natural lexical units and thus the use of coarse-grained tokenization also appears to be reasonable. In fact, both fine-grained and coarse-grained tokenizations have advantages and disadvantages for learning of pre-trained language models. In this paper, we propose a novel pre-trained language model, referred to as AMBERT (A Multi-grained BERT), on the basis of both fine-grained and coarse-grained tokenizations. For English, AMBERT takes both the sequence of words (fine-grained tokens) and the sequence of phrases (coarse-grained tokens) as input after tokenization, employs one encoder for processing the sequence of words and the other encoder for processing the sequence of the phrases, utilizes shared parameters between the two encoders, and finally creates a sequence of contextualized representations of the words and a sequence of contextualized representations of the phrases. Experiments have been conducted on benchmark datasets for Chinese and English, including CLUE, GLUE, SQuAD and RACE. The results show that AMBERT can outperform BERT in all cases, particularly the improvements are significant for Chinese. We also develop a method to improve the efficiency of AMBERT in inference, which still performs better than BERT with the same computational cost as BERT.

연구 동기 및 목표

• 사전 학습된 언어 모델에서 단일 그레인 토큰화의 한계를 해결하기 위해 미세한(granular) 및 굵은(granular) 표현을 결합하는 것.
• 단어 수준 및 구 수준 표현을 동시에 학습함으로써 NLU 작업에서 모델 성능이 향상되는지 조사하는 것.
• 선택적 인코더 사용을 통해 추론 시 계산 비용을 줄이면서도 성능을 유지하는 것.
• 다양한 토큰화 비율으로 인해 중국어에서 다중 그레인 모델링이 영어보다 더 큰 성능 향상을 가져오는 이유를 분석하는 것.

제안 방법

• AMBERT는 두 개의 병렬 인코더를 사용한다: 하나는 미세한 토큰(영어의 단어/서브워드, 중국어의 문자)를 위한 것이고, 다른 하나는 굵은 토큰(영어의 구, 중국어의 단어)를 위한 것이다.
• 두 인코더는 파라미터를 공유하여 추가적인 파라미터 수를 최소화하면서도 다중 그레인 표현의 공동 학습을 가능하게 한다.
• 입력 텍스트는 두 수준에서 토큰화된다: 영어의 경우 단어 수준 및 구 수준(구 토크나이저 사용), 중국어의 경우 문자 수준 및 단어 수준.
• 각 위치에서 단어 수준 및 구 수준 토큰에 대한 맥락 기반 표현이 생성되어 의미적 풍부함이 향상된다.
• 개발 세트에서 성능을 기반으로 추론 최적화 방법을 도입하여, 미세한 또는 굵은 인코더 중 하나만 선택한다.
• 사전 학습 기간 동안 마스크된 언어 모델링(MLM)을 사용하며, 인코더 간에 공유된 어텐션 메커니즘을 통해 표현을 정렬한다.

실험 결과

연구 질문

• RQ1 다양한 그레인 수준에서 표현을 동시에 학습하면 사전 학습된 언어 모델의 성능 향상에 기여하는가?
• RQ2 왜 다중 그레인 모델링은 영어보다 중국어에서 더 큰 성능 향상을 가져오는가?
• RQ3 미세한 그레인 및 굵은 그레인 인코더 간의 파라미터 공유가 표현 정렬 및 모델 성능에 어떤 영향을 미치는가?
• RQ4 계산 비용을 절반으로 줄이면서도 높은 성능을 유지할 수 있는 효율적인 추론 모드를 설계할 수 있는가?
• RQ5 단일 그레인 모델 대비 다중 그레인 표현에서 어텐션 패턴의 영향은 어떠한가?

주요 결과

• 영어 벤치마크에서 AMBERT는 GLUE에서 BERT보다 2.0% 향상되었고, RACE에서는 2.5%, SQuAD에서는 5.1% 향상되었다.
• 중국어에서 AMBERT는 Google BERT보다 CLUE 평균 점수를 2.7% 이상 향상시켰다.
• AMBERT와 AMBERT-Combo 간 성능 격차는 파라미터 공유로 인해 다양한 그레인 수준 간 표현 정렬이 이루어졌기 때문이다.
• AMBERT는 추론 시 단일 인코더만 사용해도 동일한 계산 비용에서 단일 그레인 BERT 모델보다 뛰어난 성능을 유지한다.
• AMBERT의 어텐션 패턴은 동일 수준 내 어텐션(예: 단어 간 또는 구 간)을 유지하지만, AMBERT-Hybrid는 미세한 그레인 어텐션을 약화시킨다.
• 중국어에서 더 큰 성능 향상은 굵은 그레인 토큰 비율이 더 높기 때문이다(중국어: 51.5%, 영어: 13.1%), 이로 인해 다중 그레인 학습이 더 큰 영향을 미친다.