[論文レビュー] WangchanBERTa: Pretraining transformer-based Thai Language Models

Lalita Lowphansirikul, Charin Polpanumas+2 more|arXiv (Cornell University)|Jan 24, 2021

Topic Modeling参考文献 33被引用数 10

ひとこと要約

本稿では、ソーシャルメディア、ニュース、パブリックデータセットなど多様なソースから収集した78GBの洗練済み・重複削除済み・クリーニング済みタイ語テキストを用いて事前学習された、RoBERTa-baseに基づくタイ語言語モデル、WangchanBERTaを紹介する。文とチャンクの境界としてスペースを保持し、SentencePieceトークン化を適用することで、単一言語のタイ語文脈において、強力なベースライン（NBSVM、CRF、ULMFit）および多言語モデル（XLM-R、mBERT）を上回る性能を示した。

ABSTRACT

Transformer-based language models, more specifically BERT-based architectures have achieved state-of-the-art performance in many downstream tasks. However, for a relatively low-resource language such as Thai, the choices of models are limited to training a BERT-based model based on a much smaller dataset or finetuning multi-lingual models, both of which yield suboptimal downstream performance. Moreover, large-scale multi-lingual pretraining does not take into account language-specific features for Thai. To overcome these limitations, we pretrain a language model based on RoBERTa-base architecture on a large, deduplicated, cleaned training set (78GB in total size), curated from diverse domains of social media posts, news articles and other publicly available datasets. We apply text processing rules that are specific to Thai most importantly preserving spaces, which are important chunk and sentence boundaries in Thai before subword tokenization. We also experiment with word-level, syllable-level and SentencePiece tokenization with a smaller dataset to explore the effects on tokenization on downstream performance. Our model wangchanberta-base-att-spm-uncased trained on the 78.5GB dataset outperforms strong baselines (NBSVM, CRF and ULMFit) and multi-lingual models (XLMR and mBERT) on both sequence classification and token classification tasks in human-annotated, mono-lingual contexts.

研究の動機と目的

• 大規模かつドメインに多様な事前学習データセットを構築することで、高性能な単一言語のタイ語言語モデルの不足を解消すること。
• 多言語モデル（例：mBERT、XLM-R）がタイ語NLPタスクで最適でない性能を示す問題を克服するため、専用の単一言語モデルを訓練すること。
• 語彙レベル、音節レベル、SentencePieceの異なるトークン化戦略が、タイ語NLPの下流タスクに与える影響を調査すること。
• サブワードトークン化の過程でスペースを句読点の境界として保存することで、タイ語の重要な文脈的特徴を活かし、タイ語NLPの性能を向上させること。
• 大規模かつ洗練済みのデータセットで事前学習を行い、モデルを公開することで、タイ語NLPにおける新しいSOTAベンチマークを確立すること。

提案手法

• ソーシャルメディア（Wisesight、Pantip）、ニュース（Thairath、Prachathai）、Wikipediaなどから得た78GBのクリーニング済み・重複削除済みタイ語テキストを用いて、RoBERTa-baseアーキテクチャを事前学習する。
• サブワードトークン化の前段階で、スペースを文およびチャンクの境界として保存するタイ語固有のテキスト前処理を適用する。
• OoV語の処理と耐障害性の向上を目的に、学習可能な語彙を持つSentencePieceサブワードトークン化を採用する。
• 5つのバリエーションを訓練・比較：78GBの全データセットを用いた1つ（WangchanBERTa-base-att-spm-uncased）と、異なるトークナイザー（SentencePiece、語彙レベル、音節レベル、SEFR）を用いたWikipedia限定データセットでの4つ。
• 人間がアノテートしたデータセットを用いて、シーケンス分類（多クラスおよびマルチラベル）およびトークン分類（名前付きエンティティ認識）のパフォーマンスを評価する。
• Hugging Faceに事前学習済みおよび微調整済みモデルを公開し、GitHubでトレーニングコードをオープンソース化する。

実験結果

リサーチクエスチョン

• RQ1 既存のベースラインおよび多言語モデルと比較して、洗練済み・多様性に富んだ大規模なデータセットで事前学習された単一言語のタイ語BERTモデルは、下流NLPタスクのパフォーマンスを向上させるか？
• RQ2 トークン化の過程でスペースを文脈的境界として保持することで、タイ語言語モデルのパフォーマンスにどのような影響を与えるか？
• RQ3 語彙レベル、音節レベル、SentencePieceの異なるトークン化戦略が、タイ語におけるシーケンス分類およびトークン分類のパフォーマンスに与える相対的影響は何か？
• RQ4 大規模な単一言語のタイ語言語モデルは、mBERT や XLM-R といった多言語モデルを上回る性能をタイ固有のベンチマークで示せるか？
• RQ5 トークナイザーの選択が、多様なタイ語テキストドメインにわたるモデルの一般化能力に与える影響は何か？

主な発見

• WangchanBERTa-base-att-spm-uncasedは、多クラスおよびマルチラベルシーケンス分類タスクにおいて、NBSVM、CRF、ULMFitを上回り、ThaiNER LST20データセットでマクロF1スコア0.8155を達成した。
• 同じデータセットにおいて、ポジションタギングではマクロF1スコア0.8586、NERでは0.7519を記録し、mBERT や XLM-R を顕著に上回った。
• 78GBの全データセットを用いてSentencePieceトークン化で訓練したモデルが最高のパフォーマンスを示し、大規模かつドメインに多様な事前学習の有効性を裏付けた。
• mBERT や XLM-R と比較して、WangchanBERTaはThaiNER LST20の全エンティティタイプで高いF1スコアを達成し、PERでは0.9132、TITLでは0.9682を記録した。
• アブレーションスタディの結果、語彙レベルおよび音節レベルのトークナイザーはSentencePieceに比べて性能が劣り、特にOoV語およびレア語の処理において、サブワードモデリングの重要性が浮き彫りになった。
• モデルのパフォーマンスは多様なドメインにわたり安定しており、ソーシャルメディアおよびフォーマルなニューステキストの両方で優れた結果を示し、効果的な一般化能力を示した。