[論文レビュー] Improving Large-scale Language Models and Resources for Filipino

Jan Christian Blaise Cruz, Charibeth Cheng|arXiv (Cornell University)|Nov 11, 2021

Natural Language Processing Techniques参考文献 18被引用数 16

ひとこと要約

本稿では、フィリピン語向けの大規模かつ多様な事前学習コーパスであるTLUnifiedを紹介し、それを用いてRoBERTaベースの言語モデルを微調整している。新しいモデルは、嫌がらせ検出、 dengue症状分類、およびNLIの3つのベンチマークタスクにおいて、平均して4.47%高いテスト精度を達成し、Bert や ELECTRA などの先行するフィリピン語モデルを上回っている。

ABSTRACT

In this paper, we improve on existing language resources for the low-resource Filipino language in two ways. First, we outline the construction of the TLUnified dataset, a large-scale pretraining corpus that serves as an improvement over smaller existing pretraining datasets for the language in terms of scale and topic variety. Second, we pretrain new Transformer language models following the RoBERTa pretraining technique to supplant existing models trained with small corpora. Our new RoBERTa models show significant improvements over existing Filipino models in three benchmark datasets with an average gain of 4.47% test accuracy across the three classification tasks of varying difficulty.

研究の動機と目的

• 低リソースなフィリピン語のための、大規模かつ多様な事前学習データの不足を解消するため、新たな大規模コーパスを構築すること。
• 従来のものよりも大規模かつ多様なデータセットを用いて、RoBERTaベースのアーキテクチャを訓練することで、フィリピン語言語モデルの性能を向上させること。
• Bert や ELECTRA などの既存のフィリピン語モデルを上回る性能を、下流の分類タスクで示すことにより、それらを上回ること。
• 事前学習におけるデータ品質とトピックの多様性を向上させることで、フィリピン語NLPモデルの頑健性と一般化性能を高めること。
• 今後の研究や応用を支援するため、オープンソースで最先端のRoBERTaモデルをフィリピン語用に提供すること。

提案手法

• Bible-UEdin や ParaCrawl、TED2020 などの複数の多言語ビテキスト、OSCARのフィリピン語サブセット、NewsPHコーパスの60%サブセットを統合して TLUnified を構築した。
• 5段階のフィルタリング処理を実施：非ラテン文字フィルタ（非ラテン文字が15%を超えるもの）、長さフィルタ（4〜150トークン）、標点符号フィルタ（過剰な標点符号を含むもの）、平均単語長フィルタ（比が3〜18の範囲外のもの）、HTML/URLフィルタ。
• 重複除去を実施し、32,000個のサブワードと100%の文字カバレッジを持つBPEトークナイザを訓練した。大文字・小文字の区別を保持した。
• RoBERTaの事前学習目的（マスク言語モデル）に従い、元のRoBERTa論文と整合するハイパーパrameterを用いて、RoBERTa-base および RoBERTa-large モデルを事前学習した。
• Hatespeech（マルチラベル）、Dengue（マルチラベル）、NewsPH-NLI Medium（自然言語推論）の3つのベンチマークデータセットに対して、128〜256トークンのシーケンス長を用いて微調整を行った。
• Hatespeech および Dengue タスク用に、語彙に特殊トークン（[LINK]、[MENTION]、[HASHTAG]）を追加し、サブワードベクトルの平均値を初期化値として使用した。

実験結果

リサーチクエスチョン

• RQ1 より大規模かつ多様な事前学習コーパスは、より小さなトピックに偏ったデータセットと比較して、フィリピン語言語モデルの性能を顕著に向上させることができるか？
• RQ2 新規のTLUnifiedコーパス上でRoBERTaベースのモデルを訓練することで、フィリピン語の下流分類タスクにおいて測定可能な性能向上が得られるか？
• RQ3 新規RoBERTaモデルの性能向上は、Bert や ELECTRA などの既存の最先端モデルと比較して、どの程度顕著か？
• RQ4 事前学習データが依然として限られている状況下で、モデルサイズ（base 対 large）が性能向上にどの程度寄与するか？
• RQ5 多様で高品質かつフィルタリングされた多言語ビテキストおよびニュースデータの統合は、フィリピン語NLPモデルの頑健性を向上させるか？

主な発見

• RoBERTa Large モデルは、Hatespeech 検出タスクで、最も優れた先行モデル（BERT Base）と比較して、4.07%の絶対的なテスト精度向上を達成した。
• Dengue 症状分類タスクでは、BERT Base と比較して5.3%のテスト精度向上を達成し、すべてのベンチマークの中で最大の向上を示した。
• NewsPH-NLI Medium 自然言語推論タスクでは、ELECTRA Base と比較して4.04%のテスト精度向上を達成した。
• RoBERTa Base モデルは、すべての3つのタスクで BERT Base や ELECTRA Base を上回り、Hatespeech で+3.9%、Dengue で+4.4%、NLI で+3.95%の向上を示した。
• RoBERTa Base と RoBERTa Large の間の性能差は僅かで、Hatespeech で+0.17%、Dengue で+0.9%、NLI で+0.09%に留まり、現在の TLUnified コーパスがまだ大規模モデルの能力を十分に活用できていない可能性を示唆している。
• 3つのタスクの平均テスト精度向上は4.47%であり、向上した事前学習データとRoBERTa微調整戦略による一貫性があり、顕著な向上が確認された。