[논문 리뷰] Bridging the Gap for Tokenizer-Free Language Models

Dokook Choe, Rami Al‐Rfou외 3명|arXiv (Cornell University)|2019. 08. 27.

Topic Modeling참고 문헌 25인용 수 14

한 줄 요약

이 논문은 단어 토큰화 없이 원시 바이트에 직접 훈련된 딥 트랜스포머 언어 모델이 One Billion Word (lm1b) 벤치마크에서 단어 기반 모델과 경쟁할 수 있는 최고 성능을 달성할 수 있음을 보여준다. 40개의 자기주도 어텐션 레이어와 836M 파라미터를 갖춘 이 모델은 깊은 컨텍스트 기반 표현을 통해 강력한 단어 표현을 학습하며, 충분한 용량이 확보될 경우 토큰화가 없는 모델도 토큰화된 모델과 경쟁할 수 있음을 입증한다.

ABSTRACT

Purely character-based language models (LMs) have been lagging in quality on large scale datasets, and current state-of-the-art LMs rely on word tokenization. It has been assumed that injecting the prior knowledge of a tokenizer into the model is essential to achieving competitive results. In this paper, we show that contrary to this conventional wisdom, tokenizer-free LMs with sufficient capacity can achieve competitive performance on a large scale dataset. We train a vanilla transformer network with 40 self-attention layers on the One Billion Word (lm1b) benchmark and achieve a new state of the art for tokenizer-free LMs, pushing these models to be on par with their word-based counterparts.

연구 동기 및 목표

• 단어 토큰화가 고성능 언어 모델에 필수적이라는 가정을 도전하기 위해.
• 순수한 문자/바이트 수준 트랜스포머가 대규모 언어 모델링에서 경쟁 가능한 성능을 낼 수 있는지 평가하기 위해.
• 토큰화가 없는 모델의 중간 표현이 의미 있는 단어 수준의 의미를 포착할 수 있는지 분석하기 위해.
• 완전한 아키텍처 용량을 활용한 엔드 투 엔드, 전처리 없이 언어 모델링이 가능한지 탐색하기 위해.

제안 방법

• 모델은 원시 UTF-8 바이트를 직접 처리하기 위해 인과적 어텐션을 갖춘 표준 트랜스포머 디코더를 사용하며, 다음 바이트를 예측한다.
• 256차원의 바이트 임베딩 레이어와 40층, 1024 히든 사이즈, 8192 피드포워드 사이즈, 16개의 어텐션 헤드를 갖춘 깊은 아키텍처를 사용한다.
• 드롭아웃을 어텐션 및 피드포워드 레이어에 적용하고, 무작위 512바이트 시퀀스로 훈련하며, Adam 옵timizer와 학습률 감소를 사용한다.
• 단어 표현은 개별 단어에 공백을 이어서 입력하고, 공백 토큰의 활성화를 단어 수준 표현의 대체 지표로 사용한다.
• 단어 유사도 평가는 추출된 표현 간 코사인 유사도와 인간이 애너테이션한 단어 쌍을 사용하여 수행한다.
• 개발 단계에서는 평가 속도를 높이기 위해 윈도우드 예측 전략을 사용하고, 최종 테스트에서는 전체 자동회귀 스코어링을 사용한다.

실험 결과

연구 질문

• RQ1 충분한 용량을 갖춘 토큰화 없는 언어 모델이 대규모 언어 모델링 벤치마크에서 경쟁 가능한 성능을 낼 수 있는가?
• RQ2 명시적인 단어 경계 감독 없이도 바이트 수준 모델의 깊은 트랜스포머 레이어가 의미 있는 단어 수준 표현을 학습하는가?
• RQ3 바이트 수준 트랜스포머의 다양한 깊이 레이어에서 단어 표현의 품질은 어떻게 변화하는가?
• RQ4 아키텍처의 깊이와 용량이 순수 바이트 수준 언어 모델의 성능에 어떤 영향을 미치는가?
• RQ5 바이트 수준 모델의 중간 활성화는 단어 유사도와 같은 후행 의미 작업에 효과적으로 활용될 수 있는가?

주요 결과

• 스트라이드=256일 경우 테스트 비트-퍼-바이트가 0.87413, 스트라이드=1일 경우 0.874055로 나타나 윈도우드 평가 전략으로 인한 성능 저하가 최소화됨을 확인했다.
• 이 모델은 토큰화 없는 언어 모델로서 One Billion Word 벤치마크에서 새로운 최고 성능을 기록했으며, 이전의 문자 수준 모델을 능가했다.
• WS353sim에서 0.43, RareWords에서 0.46의 스피어만의 라이는 단어 유사도 작업에서의 성능을 보이며, 명시적인 학습 없이도 중간 표현이 의미 유사성을 포착하고 있음을 시사한다.
• 단어 유사도 작업 성능은 레이어 1~10에서 향상되며, 레이어 11~40에서는 정점에 도달하거나 약간 저하됨을 보이며, 이는 초기 레이어가 일반적인 언어적 특징을 학습함을 시사한다.
• 희귀어 표현 능력은 깊이가 증가함에 따라 향상되며, 깊은 레이어가 희귀어 또는 복잡한 형태소 패턴을 특수화하여 포착할 수 있음을 시사한다.
• 단어 표현을 위해 훈련되지 않았음에도 불구하고 모델의 중간 활성화는 인간 애너테이션된 단어 유사도와 의미 있는 상관관계를 보이며, 잠재적인 의미 학습이 발생했음을 입증한다.