[논문 리뷰] Byte Latent Transformer: Patches Scale Better Than Tokens

Artidoro Pagnoni, Ram Pasunuru외 12명|arXiv (Cornell University)|2024. 12. 13.

Natural Language Processing Techniques인용 수 4

한 줄 요약

바이트 잠재 트랜스포머(BLT)는 다음 바이트 예측 엔트로피를 기반으로 가변 크기의 패치로 바이트를 동적으로 그룹화하는 토크나이저 없는 바이트 수준의 대규모 언어 모델 아키텍처를 도입하여, 적응형 계산 할당을 가능하게 한다. 스케일링 시 Llama 3 성능을 재현하면서 추론 FLOPs를 최대 50% 감소시키며, 우수한 내성성과 장기 꼬리 일반화 성능을 보이며, 고정된 추론 예산 하에 모델 크기와 패치 크기의 동시에 증가를 가능하게 한다.

ABSTRACT

We introduce the Byte Latent Transformer (BLT), a new byte-level LLM architecture that, for the first time, matches tokenization-based LLM performance at scale with significant improvements in inference efficiency and robustness. BLT encodes bytes into dynamically sized patches, which serve as the primary units of computation. Patches are segmented based on the entropy of the next byte, allocating more compute and model capacity where increased data complexity demands it. We present the first FLOP controlled scaling study of byte-level models up to 8B parameters and 4T training bytes. Our results demonstrate the feasibility of scaling models trained on raw bytes without a fixed vocabulary. Both training and inference efficiency improve due to dynamically selecting long patches when data is predictable, along with qualitative improvements on reasoning and long tail generalization. Overall, for fixed inference costs, BLT shows significantly better scaling than tokenization-based models, by simultaneously growing both patch and model size.

연구 동기 및 목표

• 원시 바이트에서 끝내기로 훈련하여 고정 어휘 기반 토크나이제이션에 의존성을 제거하는 것.
• 데이터 복잡성에 기반해 계산 자원을 동적으로 할당하여 추론 효율성과 내성성을 향상시키는 것.
• 고정된 추론 FLOP 예산 하에서 모델 크기와 패치 크기를 동시에 증가시킬 수 있는 새로운 스케일링 축을 제공하는 것.
• 고정 어휘 없이도 바이트 수준의 모델이 스케일링 시 토크나이즈드 모델의 성능을 따라잡을 수 있음을 입증하는 것.
• 직접적인 바이트 수준 정보 접근을 통해 장기 꼬리 일반화와 서브워드 수준 이해를 향상시키는 것.

제안 방법

• 모델은 다음 바이트 예측의 엔트로피 기반 분할을 바탕으로 입력 바이트를 패치 표현으로 매핑하는 경량 로컬 인코더를 사용한다.
• 대규모 글로벌 잠재 트랜스포머가 패치 표현을 처리하며, 크로스 어텐션 메커니즘을 통해 바이트 수준과 패치 수준의 정보를 통합한다.
• 경량 로컬 디코더가 다음 패치의 바이트를 재구성하여 자동회귀 생성을 가능하게 한다.
• 패치 크기는 다음 바이트의 엔트로피에 의해 동적으로 결정되며, 복잡도가 높은 영역에 더 많은 계산 자원을 할당한다.
• 사전에 정의된 토큰 없이 끝내기로 패치 표현을 학습함으로써 고정 어휘를 피한다.
• 추론 예산을 일정하게 유지하면서 최대 8B 파라미터 및 4T 훈련 바이트까지 FLOPs 제어 스케일링 연구를 가능하게 한다.

Figure 1 : Scaling trends for fixed inference flop models (fully) trained with varying training budgets. In token-based models, a fixed inference budget determines the model size. In contrast, the BLT architecture provides a new scaling axis allowing simultaneous increases in model and patch size wh

실험 결과

연구 질문

• RQ1 원시 바이트에서 끝내기로 훈련된 대규모 언어 모델이 스케일링 시 Llama 3과 같은 토크나이제이션 기반 모델의 성능을 따라잡을 수 있는가?
• RQ2 다음 바이트 엔트로피 기반의 동적 패치 기반 기반으로 추론 효율성과 계산 자원 할당이 향상되는가?
• RQ3 고정된 추론 FLOP 예산 하에서 토크나이저 없는 아키텍처가 동시에 모델 크기와 패치 크기를 증가시킬 수 있는가?
• RQ4 직접적인 바이트 수준 모델링이 입력 노이즈에 대한 내성성과 장기 꼬리 데이터 일반화 성능을 향상시키는가?
• RQ5 바이트 수준 모델이 토크나이즈드 모델보다 더 나은 문자 수준 이해와 철자 지식을 달성할 수 있는가?

주요 결과

• FLOPs 제어 실험에서 BLT는 스케일링 시 Llama 3 성능을 재현하면서 추론 FLOPs를 최대 50% 감소시켰다.
• 입력 노이즈에 대한 내성성이 뛰어나고, 자원이 제한된 기계 번역 및 철자 지식 작업에서 성능이 향상되었다.
• 엔트로피 기반 동적 패치 기반은 더 효율적인 계산 자원 할당을 이끌었으며, 예측 가능성이 높은 영역에서는 긴 패치, 복잡한 영역에서는 짧은 패치를 사용했다.
• BLT는 고정된 추론 예산 하에서 모델 크기와 패치 크기 둘 다 동시에 증가시킬 수 있는 새로운 스케일링 궤적을 제공했으며, 스케일링 추세에서 토크나이즈드 모델을 능가했다.
• 직접적인 바이트 수준 정보 접근 덕분에 추론 능력과 장기 꼬리 일반화 성능에서 정성적 향상이 관찰되었다.
• 초기 실험 결과, 사전 훈련된 Llama 3에 바이트 기반 헤드를 적용한 미세조정이 성능을 유지하면서도 바이트 수준의 인덕티브 바이어스의 이점을 얻을 수 있었다.

Figure 2 : B LT comprises three modules, a lightweight Local Encoder that encodes input bytes into patch representations, a computationally expensive Latent Transformer over patch representations, and a lightweight Local Decoder to decode the next patch of bytes. B LT incorporates byte $n$ -gram emb