[논문 리뷰] Charformer: Fast Character Transformers via Gradient-based Subword Tokenization

Yi Tay, Vinh Q. Tran외 8명|arXiv (Cornell University)|2021. 06. 23.

Natural Language Processing Techniques참고 문헌 62인용 수 83

한 줄 요약

Charformer는 바이트에서 잠재적 서브워드 표현을 학습하고 이를 Transformer에 통합하는 그래디언트 기반 서브워드 토큰화(GBST) 모듈을 도입하여 바이트 레벨 및 서브워드 기준선 대비 속도 향상과 함께 경쟁력 있는 성능을 달성합니다.

ABSTRACT

State-of-the-art models in natural language processing rely on separate rigid subword tokenization algorithms, which limit their generalization ability and adaptation to new settings. In this paper, we propose a new model inductive bias that learns a subword tokenization end-to-end as part of the model. To this end, we introduce a soft gradient-based subword tokenization module (GBST) that automatically learns latent subword representations from characters in a data-driven fashion. Concretely, GBST enumerates candidate subword blocks and learns to score them in a position-wise fashion using a block scoring network. We additionally introduce Charformer, a deep Transformer model that integrates GBST and operates on the byte level. Via extensive experiments on English GLUE, multilingual, and noisy text datasets, we show that Charformer outperforms a series of competitive byte-level baselines while generally performing on par and sometimes outperforming subword-based models. Additionally, Charformer is fast, improving the speed of both vanilla byte-level and subword-level Transformers by 28%-100% while maintaining competitive quality. We believe this work paves the way for highly performant token-free models that are trained completely end-to-end.

연구 동기 및 목표

• 토큰화를 고정된 사전 처리 단계가 아닌 학습 가능한 엔드 투 엔드 구성 요소로서의 동기 부여.
• GBST를 통한 서브워드 효율성과 문자 수준 모델링의 유연성 균형.
• 바이트 수준 입력에서 작동하되 다운스트림 성능을 경쟁적으로 유지하도록 Charformer 개발.
• 기존 바이트 수준 및 서브워드 모델 대비 속도 및 메모리 효율성의 이점 시연.
• 학습된 잠재 서브워드를 시각화하여 해석 가능한 통찰력 제공

제안 방법

• GBST(Gradient-Based Subword Tokenization)를 제안하여 최대 크기 M인 후보 블록을 열거하고 각 위치에서 각 블록에 대한 확률을 할당하는 블록 평가 네트워크를 학습합니다.
• 후보 블록의 가중 합으로 잠재 서브워드 표현을 형성하여 서브워드 분할을 미분 가능하고 엔드 투 엔드 학습이 가능하게 합니다.
• 고정 풀링 연산으로 잠재 서브워드 시퀀스를 다운샘플링하여 Transformer 스택에 입력하기 전에 시퀀스 길이를 감소시킵니다.
• 다운샘플링된 잠재 서브워드에서 작동하는 Transformer 인코더-디코더를 사용하고, 인코더에 더 많은 용량을 할당하는 확장 가능한 변형(SBase)을 적용합니다.
• 바이트 수준 설정에 맞게 조정된 T5와 유사한 스팬 마스킹 사전 학습 방식으로 학습합니다.
• 효율성과 성능을 평가하기 위해 사전 GBST 컨볼루션, 블록 점수 보정, 다운샘플링 비율 등 아키텍처 변형을 탐색합니다.

실험 결과

연구 질문

• RQ1 GBST가 문자/바이트 시퀀스에서 의미 있는 잠재 서브워드 표현을 직접 학습할 수 있는가?
• RQ2 Charformer가 단일 언어 및 다중 언어 작업에서 서브워드 기반 및 다른 토큰화-free 모델과 비교해 어떤 성능을 보이는가?
• RQ3 Charformer의 속도, 메모리, 매개변수 효율성은 기존 기준선 대비 어떤가?
• RQ4 SBase(스케일링된 인코더)가 문자/바이트 수준 모델에 이점을 제공하는가?
• RQ5 학습된 잠재 서브워드가 해석 가능하고 노이즈가 많은 텍스트에 견고한가?

주요 결과

• Charformer는 동일한 매개변수 수에서 영어 GLUE 작업 및 긴 문서 분류에서 강한 문자 수준 기준선보다 우수한 성능을 보임.
• Charformer는 여러 벤치마크에서 서브워드 기반 모델(BERT, T5 등)과 견주거나 그 이상을 달성하며, SBase 변형이 종종 최고 성능을 보임.
• Charformer는 Byte 수준 및 서브워드 기반 모델(예: Byte-level T5 및 T5 기반 변형)보다 더 빠르고 메모리 효율적이며 학습/추론 비용이 더 우수하게 확장됨.
• SBase 구성은 더 깊은 인코더와 더 작은 매개변수 풋프린트로 비스케일링 기반 비교대상보다 우수하고, 일부 설정에서 매개변수의 약 40~50%를 사용하며 속도는 2배에서 10배 향상됨.
• 다언어 설정에서 Charformer SBase는 서브워드 기준선 및 LongPT 변형과 경쟁적이며, 언어 내 성능과 번역-훈련 성능이 강하지만 토큰 없는 모델의 제로샷 다언어 전이에는 여전히 어려움이 남아 있습니다.