[論文レビュー] Impact of Tokenization on Language Models: An Analysis for Turkish

Çağrı Toraman, Eyüp Halit Yılmaz+2 more|arXiv (Cornell University)|Apr 19, 2022

Natural Language Processing Techniques被引用数 10

ひとこと要約

本研究では、語彙サイズを変えてRoBERTa-TR-mediumモデルを訓練する際、文字単位、BPE、WordPiece、語彙的レベル、語彙単位の5つのトークナイゼーション手法を、トルコ語言語モデル作成において評価している。結果として、語彙的レベルのトークナイゼーションはBPEおよびWordPieceと同等の性能を示し、語彙サイズを拡大することで、実用的とされる手法よりも語彙的および語彙単位のトークナイザがより顕著に性能向上を示す。最適なパラメータ比は、実用的とされる手法で20%、他の手法で40%である。

ABSTRACT

Tokenization is an important text preprocessing step to prepare input tokens for deep language models. WordPiece and BPE are de facto methods employed by important models, such as BERT and GPT. However, the impact of tokenization can be different for morphologically rich languages, such as Turkic languages, where many words can be generated by adding prefixes and suffixes. We compare five tokenizers at different granularity levels, i.e. their outputs vary from smallest pieces of characters to the surface form of words, including a Morphological-level tokenizer. We train these tokenizers and pretrain medium-sized language models using RoBERTa pretraining procedure on the Turkish split of the OSCAR corpus. We then fine-tune our models on six downstream tasks. Our experiments, supported by statistical tests, reveal that Morphological-level tokenizer has challenging performance with de facto tokenizers. Furthermore, we find that increasing the vocabulary size improves the performance of Morphological and Word-level tokenizers more than that of de facto tokenizers. The ratio of the number of vocabulary parameters to the total number of model parameters can be empirically chosen as 20% for de facto tokenizers and 40% for other tokenizers to obtain a reasonable trade-off between model size and performance.

研究の動機と目的

• 異なるトークナイゼーションの粒度レベルがトルコ語言語モデルの性能に与える影響を調査すること。
• 語彙サイズが、さまざまなトークナイゼーション手法におけるモデル性能に与える影響を評価すること。
• 語彙パラメータ比に基づいた、モデルサイズと性能の実用的トレードオフのガイドラインを提供すること。
• 研究および応用用に、多様なトークナイザを備えた公開可能なRoBERTa-TR-mediumモデルをリリースすること。
• 事前学習の環境的・倫理的影響、特に二酸化炭素排出量と公平性を検討すること。

提案手法

• トルコ語のOSCARコーパスを用いて、5つのトークナイゼーション手法（文字単位、BPE、WordPiece、語彙的レベル、語彙単位）を用いて中規模のRoBERTaモデルを事前学習する。
• 各トークナイザを同じデータで学習し、得られたモデルを6つの下流NLPタスクで微調整する。
• 公平な比較を確保するため、制御されたハイパーパrameterを用いてRoBERTaの事前学習手順を適用する。
• 下流タスクでの性能を標準指標で測定し、有意性を検証するために統計的検定を実施する。
• エネルギー消費量と二酸化炭素排出量を、地域の換算係数を用いて推定し、二酸化炭素排出量を評価する。
• パラメータ比の経験的比率（BPE/WordPieceで20%、語彙的/語彙単位で40%）を提案し、モデルサイズと性能の最適なトレードオフを実現する。

実験結果

リサーチクエスチョン

• RQ1 RQ-1: 異なるトークナイゼーション手法がトルコ語言語モデルおよび下流タスクの性能に与える影響は何か？
• RQ2 RQ-2: 語彙サイズを変化させた場合、さまざまなトークナイゼーション手法におけるモデル性能はどのように変化するか？
• RQ3 RQ-3: モデルサイズと性能のバランスを取るために、語彙パラメータ数と総モデルパラメータ数の最適比は何か？
• RQ4 RQ-4: 異なるトークナイゼーション手法はエネルギー消費量および二酸化炭素排出量にどのように影響するか？
• RQ5 RQ-5: 偏りのあるコーパスを用いた事前学習の公平性および倫理的影響は何か？

主な発見

• 語彙的レベルのトークナイザは、BPEおよびWordPieceと同等の性能を達成しており、語彙的に豊富な言語（例：トルコ語）において強い可能性を示している。
• 語彙サイズを拡大することで、BPEおよびWordPieceよりも、語彙的レベルおよび語彙単位のトークナイザの性能向上が顕著に顕著になる。
• 語彙パラメータ数と総モデルパラメータ数の最適比は、経験的にBPE/WordPieceで20%、語彙的/語彙単位で40%であることが判明した。
• RoBERTa-TR-mediumモデルは、より大きな最先端モデルの97%の性能を達成しているが、サイズは約3分の1にまで小さくなっている。
• 自然言語推論の微調整には最もエネルギーが消費され（17.5 kWh）、感情分析は最も少ない（1.25 kWh）。
• 事前学習の推定された二酸化炭素排出量は18.15〜28.875 kWh（1.8〜3.0 kg CO₂に相当）であり、下限の社会的コストは1回の実験あたり117.42ドルにのぼる。