[論文レビュー] PhayaThaiBERT: Enhancing a Pretrained Thai Language Model with Unassimilated Loanwords

Panyut Sriwirote, Jalinee Thapiang+2 more|arXiv (Cornell University)|Nov 21, 2023

Natural Language Processing Techniques被引用数 5

ひとこと要約

本稿では、WangchanBERTaの微調整および語彙拡張版としてのPhayaThaiBERTを紹介する。PhayaThaiBERTは、XLM-Rから転移したトークナイザー語彙を用いて、特に英語語彙の語彙を拡張することで、未統合の借用語の理解を向上させる。156.5GBのより大きなデータセットで事前学習することで、下流タスクにおける性能が向上し、借用語の頻度が高いタスク、特にトークン分類タスクで顕著な性能向上を示した。

ABSTRACT

While WangchanBERTa has become the de facto standard in transformer-based Thai language modeling, it still has shortcomings in regard to the understanding of foreign words, most notably English words, which are often borrowed without orthographic assimilation into Thai in many contexts. We identify the lack of foreign vocabulary in WangchanBERTa's tokenizer as the main source of these shortcomings. We then expand WangchanBERTa's vocabulary via vocabulary transfer from XLM-R's pretrained tokenizer and pretrain a new model using the expanded tokenizer, starting from WangchanBERTa's checkpoint, on a new dataset that is larger than the one used to train WangchanBERTa. Our results show that our new pretrained model, PhayaThaiBERT, outperforms WangchanBERTa in many downstream tasks and datasets.

研究の動機と目的

• タイ語テキストにおける表記的に未統合の借用語、特に英語語彙の理解に欠けるWangchanBERTaの限界を是正すること。
• コードスイッチドまたは外国語語彙が多めのタイ語テキストを扱う下流NLPタスクにおけるモデルの性能を向上させること。
• XLM-Rのトークナイザーから外国語語彙トークンを転送することで、WangchanBERTaの語彙を拡張し、未統合借用語をよりよく捉えるようにすること。
• WangchanBERTaの元の学習データよりも2倍大きい156.5GBのデータセットで、拡張済みモデルを事前学習することで一般化性能を向上させること。
• 強化された外国語語彙理解が、多様なタイ語NLPベンチマークで測定可能な性能向上をもたらすかどうかを評価すること。

提案手法

• XLM-Rの事前学習済みトークナイザーから外国語サブワードユニットを転送することで、WangchanBERTaのSentencePiece unigramトークナイザーを拡張した。
• WangchanBERTaのチェックポイントを初期化に使用することで、学習済み表現を保持しつつ、新しい語彙に適応した。
• 同じマスク言語モデル化の目的関数を用いて、WangchanBERTaの学習データの2倍にあたる156.5GBのデータセットでモデルを事前学習した。
• タイ語固有の言語的特徴を保つために、空白の保持や繰り返し文字の正規化などの技術を適用した。
• 複数の下流NLPタスク、特に系列分類およびトークン分類に、最終的なPhayaThaiBERTモデルを微調整した。
• 標準的な指標を用いて多様なデータセットで性能を評価し、WangchanBERTaおよびXLM-Rと比較した。

実験結果

リサーチクエスチョン

• RQ1 外国語語彙をトークナイザー語彙に追加することで、タイ語言語モデルの未統合借用語理解能力が向上するか？
• RQ2 より大きなデータセットで事前学習することで、下流タイ語NLPタスクの性能がどの程度向上するか？
• RQ3 未統合英語借用語の割合が高いタスク、特にトークン分類タスクで測定可能な性能向上が見られるか？
• RQ4 多様なデータセットにおいて、PhayaThaiBERTはWangchanBERTaおよびXLM-Rと比較してゼロショットおよび微調整済み性能でどの程度優れているか？
• RQ5 語彙拡張およびより大きな事前学習は、コードスイッチドまたは外国語影響を受けるタイ語テキストを処理する現行タイ語モデルの限界を緩和できるか？

主な発見

• PhayaThaiBERTは、複数の下流タスクでWangchanBERTaを上回った。特に、借用語の頻度が高いトークン分類データセットで顕著な改善が見られた。
• 38.54％の未統合英語語彙を含むThai_NNERデータセットでは、PhayaThaiBERTはWangchanBERTaに対して+4.95％のF1スコア向上を達成した。
• 完全に英語で構成されたYelp Review Fullデータセットでは、PhayaThaiBERTは+9.86％のF1スコア向上を達成し、外国語コンテンツ処理における優れた性能を示した。
• 英語のみのYelpデータセットでは+6.72％のF1スコア向上を示し、外国語処理能力の強化がこのような文脈で直接的に性能向上をもたらすことを確認した。
• 中程度の借用語頻度（例：wisesight_sentimentは27.59％）の系列分類タスクでは、PhayaThaiBERTは+1.8％のF1スコア向上を達成し、一貫した改善が確認された。
• 改善は見られたが、生成されたレビュー（generated_reviews_enth）データセットでは、PhayaThaiBERTはXLM-Rを上回ることはできず、機械翻訳コンテンツの処理には限界があることが示唆された。