[論文レビュー] Evaluating Language Model Finetuning Techniques for Low-resource Languages

Jan Christian Blaise Cruz, Charibeth Cheng|arXiv (Cornell University)|Jun 30, 2019

Natural Language Processing Techniques参考文献 13被引用数 32

ひとこと要約

本論文はフィリピン語向けの WikiText-TL-39 を導入し、低リソースの感情分類における BERT と ULMFiT のファインチューニングを比較して、限られたデータでも堅牢な性能を示すことを報告する。

ABSTRACT

Unlike mainstream languages (such as English and French), low-resource languages often suffer from a lack of expert-annotated corpora and benchmark resources that make it hard to apply state-of-the-art techniques directly. In this paper, we alleviate this scarcity problem for the low-resourced Filipino language in two ways. First, we introduce a new benchmark language modeling dataset in Filipino which we call WikiText-TL-39. Second, we show that language model finetuning techniques such as BERT and ULMFiT can be used to consistently train robust classifiers in low-resource settings, experiencing at most a 0.0782 increase in validation error when the number of training examples is decreased from 10K to 1K while finetuning using a privately-held sentiment dataset.

研究の動機と目的

• データ不足に対処するため、フィリピン語の大規模テキストベンチマークデータセット（WikiText-TL-39）を作成する。
• 転移学習技術（BERT と ULMFiT）が、限られたラベル付きデータでの下流分類に対してどの程度機能するかを評価する。
• トレーニングデータ量を減らした場合の検証性能への影響を定量化し、ファインチューニング手法の頑健性を確立する。

提案手法

• フィリピン語コーパス上で BERT Base モデルを 290k と 30k の語彙、および cased と uncased の 2 種類の casing で事前学習する。
• 同じフィリピン語コーパス上で AWD-LSTM 言語モデル（ULMFiT）を指定ハイパーパラメータで事前学習する。
• プライベートに保有する感情データセットを用い、10K-10K、5K-5K、1K-1K、100-100 の学習データ分割で両モデルをファインチューニングする。
• ファインチューミング後のモデルを固定の検証セットで評価し、分割ごとの検証損失と検証精度を測定する。
• データ量の削減に対する BERT と ULMFiT の頑健性と計算資源のトレードオフを比較する。

実験結果

リサーチクエスチョン

• RQ1 BERT と ULMFiT のファインチューニングは、ラベル付きデータの量が異なるフィリピン語の感情分類でどれほど有効か。
• RQ2 検証性能は、トレーニングデータを 10K-10K から小さな分割に削減するとどのように変化するか。
• RQ3 データ不足の下で、BERT または ULMFiT による事前学習はどちらがより頑健な性能を提供するか。
• RQ4 低資源環境で BERT と ULMFiT を選択する際の計算資源の考慮事項は何か。

主な発見

Model Type	Splits	Val Loss	Val Acc	10K Val Acc	Err Increase	10K Err Increase
BERT-Cased	10k-10k	0.3492	0.8817	-	-	-
BERT-Cased	5k-5k	0.3841	0.8760	0.8976	+0.0057	-0.0159*
BERT-Cased	1k-1k	0.4746	0.8200	0.8437	+0.0617	+0.0380
BERT-Cased	100-100	0.6122	0.7333	0.6517	+0.1484	+0.2300
BERT-Uncased	10k-10k	0.3401	0.8887	-	-	-
BERT-Uncased	5k-5k	0.3727	0.8793	0.8970	+0.0094	-0.0083*
BERT-Uncased	1k-1k	0.5667	0.7933	0.8450	+0.0954	+0.0437
BERT-Uncased	100-100	0.6606	0.6333	0.6407	+0.2554	+0.2480
ULMFiT	10k-10k	0.2496	0.9018	-	-	-
ULMFiT	5k-5k	0.2489	0.8961	0.8887	+0.0057	+0.0194
ULMFiT	1k-1k	0.4193	0.8183	0.8236	+0.0835	+0.0782
ULMFiT	100-100	0.7020	0.4390	0.4904	+0.4628	+0.4114

• ULMFiT は 10k-10k 分割で最終的な検証精度 0.9018 を達成し、1K-1K で小さな誤差増分 (0.0835)、100-100 でより大きな増分 (0.4628) を示した。
• BERT ファインチューニングはデータ削減で小さな精度低下を示し、1K-1K 分割では cased および uncased のモデルで控えめな誤差増分をもたらす。
• データ量が減少するシcenario 全体で、BERT は一般的に ULMFiT よりも平均検証誤差の増分が少なく、データ不足に対してより頑健であることを示した。
• BERT-Cased と BERT-Uncased は同等の性能を示し、いくつかの分割では uncased が casing より若干優位。
• ULMFiT は計算要件が低く、学習が速いため、事前学習済みモデルが利用できない場合に魅力的である。