[논문 리뷰] Do All Languages Cost the Same? Tokenization in the Era of Commercial Language Models

Orevaoghene Ahia, Sachin Kumar외 5명|arXiv (Cornell University)|2023. 05. 23.

Taxation and Compliance StudiesEconomics, Econometrics and Finance인용 수 3

한 줄 요약

이 논문은 상용 언어 모델 API에서의 서브워드 토크나이제이션으로 인해 비라틴 문자 언어의 경우 비슷한 의미적 내용임에도 불구하고 토큰 수가 비례하지 않게 증가하고, 이로 인해 비용이 증가하는 현상을 조사한다. 비표준 언어권 사용자들은 토크나이제이션의 언어학적 및 인코딩적 편향으로 인해 더 높은 재정적 비용과 낮은 모델 성능을 경험하게 되며, 이는 제조사들이 공정한 가격 정책과 투명성을 도입할 것을 촉구한다.

ABSTRACT

Language models have graduated from being research prototypes to commercialized products offered as web APIs, and recent works have highlighted the multilingual capabilities of these products. The API vendors charge their users based on usage, more specifically on the number of ``tokens'' processed or generated by the underlying language models. What constitutes a token, however, is training data and model dependent with a large variance in the number of tokens required to convey the same information in different languages. In this work, we analyze the effect of this non-uniformity on the fairness of an API's pricing policy across languages. We conduct a systematic analysis of the cost and utility of OpenAI's language model API on multilingual benchmarks in 22 typologically diverse languages. We show evidence that speakers of a large number of the supported languages are overcharged while obtaining poorer results. These speakers tend to also come from regions where the APIs are less affordable to begin with. Through these analyses, we aim to increase transparency around language model APIs' pricing policies and encourage the vendors to make them more equitable.

연구 동기 및 목표

• 서브워드 분할로 인해 상용 언어 모델 API에서 언어 간 비균형적인 비용이 발생하는지 조사하기.
• 토크나이제이션 격차가 다양한 언어의 경제적 비용과 모델 유틸리티에 어떤 영향을 미치는지 검토하기.
• 이러한 격차가 기존의 NLP 기술 접근성에 대한 사회경제적 불평등을 악화시키는지 평가하기.
• 토크나이저가 상용 LLM의 공정성에서 종종 간과되지만 중요한 역할을 한다는 점을 부각하기.
• 다국어 사용자를 위한 API 가격 정책과 모델 설계에서 더 큰 투명성과 공정성 확보를 위한 주장하기.

제안 방법

• FLORES-200 벤치마크에서 확보한 22개의 다양한 문체적 언어에 대해 OpenAI의 API와 토크나이저를 사용해 병렬 텍스트를 처리했다.
• 입력 텍스트 길이(문자 수)와 언어 간 출력 토큰 수를 비교하여 토크나이제이션 분할 비율을 측정했다.
• 동일한 의미적 내용을 처리하기 위해 필요한 토큰 수를 계산하여 비용 격차를 정량화했다.
• 다국어 벤치마크에서의 인라인 학습 성능을 평가하여 토큰 수와 언어 유형과의 상관관계를 분석했다.
• 고비용 토크나이제이션, 낮은 성능, 지역적 구매력과 같은 사회경제적 요인 간의 상관관계를 분석했다.
• CC100을 사용하여 사전학습 데이터의 언어 표현 편향을 유추하기 위해 훈련 데이터 분포의 대체 지표로 활용했다.

Figure 1: We investigate the effects of subword tokenization in LLMs across languages with different writing systems. Our findings highlight disparities in the utility of LLMs, as well as socio-economic disparities and increased costs in using commercial APIs for speakers of underrepresented languag

실험 결과

연구 질문

• RQ1 서로 다른 글자 체계를 가진 언어들 사이에서 서브워드 토크나이제이션이 어떻게 달라지며, 이로 인해 토큰 수에 어떤 영향을 미치는가?
• RQ2 언어 간 토크나이제이션 차이가 비표준 언어권 사용자들에게 비례하지 않는 API 비용을 초래하는 정도는 어느 정도인가?
• RQ3 더 높은 토크나이제이션 분할 비율이 인라인 학습 작업에서 모델 유틸리티 감소와 관련이 있는가?
• RQ4 더 높은 비용과 낮은 성능을 보이는 언어들은 일반적으로 API 사용에 있어 평균 구매력이 낮은 지역에서 사용되는가?
• RQ5 언어학적 및 인코딩 특성(예: 글자 체계, 유니코드 표현 방식)이 토크나이제이션 편향에 어떤 역할을 하는가?

주요 결과

• 비라틴 문자를 사용하는 언어, 특히 CJK, 아랍어 및 기타 복잡한 글자 체계를 사용하는 언어들은 라틴 기반 언어보다 훨씬 높은 토크나이제이션 분할을 경험한다.
• 일본어나 중국어에서는 같은 의미적 내용을 처리하기 위해 영어 대비 최대 2.5배 더 많은 토큰이 필요하며, 이는 직접적으로 API 비용 증가로 이어진다.
• 더 높은 토큰 수를 가진 언어는 동일한 입력 내용임에도 불구하고 인라인 학습 벤치마크에서 낮은 성능을 보였으며, 이는 모델 유틸리티 감소를 시사한다.
• 과도하게 분할되는 언어를 사용하는 사용자들은 일반적으로 평균 소득이 낮은 지역에서 온 경우가 많아, 더 높은 API 비용이 더 큰 부담이 되며 디지털 불평등을 악화시킨다.
• 비용 격차는 자료 부족 때문만이 아니라, 유니코드 스크립트 복잡성 및 문자 빈도 패턴과 같은 본질적인 언어학적 및 인코딩 특성에 뿌리를 두고 있다.
• 본 연구는 현재 토큰 수 기반의 API 가격 정책이 비라틴 문자 사용자에게는 본질적으로 불공평하며, 동일한 정보가 전달됨에도 불구하고 이를 드러낸다.

Figure 2: Average number of tokens by script after tokenizing the Flores dataset. The fragmentation rate is lower for Latin script languages and higher for other scripts. Number of languages per language group is indicated at the top of each bar.