[論文レビュー] IndoBERTweet: A Pretrained Language Model for Indonesian Twitter with Effective Domain-Specific Vocabulary Initialization

Fajri Koto, Jey Han Lau+1 more|arXiv (Cornell University)|Sep 10, 2021

Topic Modeling参考文献 27被引用数 4

ひとこと要約

本稿では、2600万件のインдонエシア語ツイター投稿を用いて、サブワード埋め込みの平均化によるドメイン固有語彙を追加することで、単語彙が限定されたインдонエシア語BERTモデルを拡張した、インドネシア語ツイター向けの最初の大規模事前学習言語モデルであるIndoBERTweetを紹介する。この手法は、事前学習を5倍速くし、7つのツイターベースの自然言語処理タスクにおいて、初期化から事前学習を実行する手法やword2vecベースの初期化と比較して優れた性能を示し、ドメイン適応における効率性と有効性の両面で優れていることを示している。

ABSTRACT

We present IndoBERTweet, the first large-scale pretrained model for Indonesian Twitter that is trained by extending a monolingually-trained Indonesian BERT model with additive domain-specific vocabulary. We focus in particular on efficient model adaptation under vocabulary mismatch, and benchmark different ways of initializing the BERT embedding layer for new word types. We find that initializing with the average BERT subword embedding makes pretraining five times faster, and is more effective than proposed methods for vocabulary adaptation in terms of extrinsic evaluation over seven Twitter-based datasets.

研究の動機と目的

• インドネシア語ソーシャルメディアテキストに特化した、高パフォーマンスで大規模な事前学習言語モデルの開発。
• ドメイン適応的学習における語彙不一致問題に対処するため、ドメイン固有語彙の初期化戦略を複数評価。
• モデルパフォーマンスを維持または向上させながら、ドメイン適応の計算コストを低減すること。
• ドメイン固有の最先端モデルをリリースすることで、インドネシア語ツイターNLPのベンチマークを確立すること。

提案手法

• 2600万件のインドネシア語ツイター投稿コーパスから得たドメイン固有語彙トークンを、単語彙が限定されたインドネシア語BERTモデルであるIndoBERTに追加する。
• ツイターコーパスに対してWordPieceトークン化を適用し、語彙数31,984のドメイン固有語彙を構築する。
• 200,000ステップにわたり、ベースとなるIndoBERTモデルをツイターコーパス上で微調整することでドメイン適応的学習を実装する。
• 4つの語彙初期化戦略（ランダム、word2vec投影、および2種類のサブワード埋め込み平均化（平均値と学習済み））をテストする。
• 最大128トークンのシーケンス長を維持し、元のIndoBERT構成に従ってマスク言語モデルの目的関数を用いる。
• センチメント分析や名前付きエンティティ認識を含む7つの下流タスクにおける性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ベースモデルからのサブワード埋め込みの平均値を用いたドメイン固有語彙初期化は、ランダムまたはword2vecベースの初期化に比べて性能向上をもたらすか？
• RQ2 異なる語彙初期化手法を用いた場合、ドメイン適応的学習の計算効率は、初期化から事前学習を実行する手法と比較してどうなるか？
• RQ3 サブワード埋め込み平均化による初期化を用いたドメイン適応的アプローチは、インドネシア語ツイターデータに対して、初期化から事前学習を実行するモデルを上回る性能を示せるか？
• RQ4 語彙不一致はモデル性能にどのような影響を及ぼすか？また、サブワード平均化はこの問題をどの程度軽減できるか？

主な発見

• サブワード埋め込み平均化手法により、初期化から事前学習を実行する手法と比較して、事前学習時間を80％短縮し、5倍の高速化を達成した。
• 平均して、サブワード平均化初期化手法が7つの下流タスクにおいて最高のF1スコアを達成し、ランダムおよびword2vecベースの初期化を上回った。
• 平均化されたサブワード埋め込みで初期化されたモデルは、元のIndoBERTと比較してわずかに-0.2％の絶対差で性能が低下しており、事前学習なしでも最小限の劣化に抑えられた。
• 200,000ステップのドメイン適応的学習後、サブワード平均化手法は100万ステップの初期化から事前学習を実行したモデルでさえも上回り、優れたサンプル効率を示した。
• この手法は優れた一般化性能を示し、新規トークンあたりの平均サブワード数が2.6（IndoBERTweet）であったのに対し、BERTweetでは3.4であったため、より効率的なトークン化が可能であった。
• 英語への転移実験では、サブワード平均化手法により、RoBERTaとBERTweetの性能差が+3.4％から+2.2％に縮小されたが、事前学習データ量は1/10にまで抑えられた。