[論文レビュー] JABER and SABER: Junior and Senior Arabic BERt

Abbas Ghaddar, Yimeng Wu+11 more|arXiv (Cornell University)|Dec 8, 2021

Natural Language Processing Techniques被引用数 5

ひとこと要約

本稿では、BBPEトークナイゼーション、データクリーニング、最適化されたハイパーパrameterを含む改善されたトレーニングレシピを用いて、新たに事前学習されたアラビア語BERTモデル、JABER（12層）およびSABER（24層）を紹介する。これらのモデルはALUEベンチマーク（平均スコア77.3％）で最先端の性能を達成し、ARBERT や MARBERT などの既存モデルを上回り、SABERはJABERに対して平均3.6％の向上を示した。

ABSTRACT

Language-specific pre-trained models have proven to be more accurate than multilingual ones in a monolingual evaluation setting, Arabic is no exception. However, we found that previously released Arabic BERT models were significantly under-trained. In this technical report, we present JABER and SABER, Junior and Senior Arabic BERt respectively, our pre-trained language model prototypes dedicated for Arabic. We conduct an empirical study to systematically evaluate the performance of models across a diverse set of existing Arabic NLU tasks. Experimental results show that JABER and SABER achieve state-of-the-art performances on ALUE, a new benchmark for Arabic Language Understanding Evaluation, as well as on a well-established NER benchmark.

研究の動機と目的

• 既存のアラビア語 BERT モデルにおける学習不足の問題を解決するために、事前学習レシピの再評価と改善を行う。
• アラビア語固有の言語モデル、すなわち JABER（12層）および SABER（24層）を開発し、既存の単語・多言語モデルを上回る性能を発揮する。
• ALUE および ANER corp を用いた包括的な NLU タスクを対象に、アラビア語 BERT モデルを公平に比較可能な体系的なベンチマークフレームワークを構築する。
• データキュレーションおよびトレーニングプロセスの最適化を通じて、MSA、方言、ソーシャルメディアテキストの間でモデルの汎化性能を向上させる。
• 再現可能性およびアラビア語 NLP 領域におけるさらなる研究を支援するため、オープンソースの重みとコードを公開する。

提案手法

• 115GB のアラビア語テキストコーパスを用いて、JABER および SABER を事前学習した。データクリーニングとフィルタリングを徹底的に行った後、重複要因が3のコーパスを用いた。
• アラビア語の変形の複雑さを効果的に扱うために、WordPiece の代わりに BBPE（バイトペアエンコーディング）を用いたトークナイゼーションを採用した。
• 前処理段階で正規化を適用し、アラビア語テキストの標準化を図った。これにより、スクリプトの違いや綴りのばらつきに対してモデルのロバスト性が向上した。
• RoBERTa のスタイルに従い、動的マスキングと長いシーケンス長（512トークン）を採用することで、表現学習の性能を向上させた。
• JABER には15エポック、SABER には5エポックのトレーニングスケジュールを適用し、より大きなバッチサイズと最適化された周波数スケジュールを用いた。
• 評価のため、ALUE（8つの異なるアラビア語 NLU タスク）および ANER corp（名前付きエンティティ認識）を対象に、複数の下流タスクで微調整を行った。

実験結果

リサーチクエスチョン

• RQ1 再最適化された事前学習レシピは、以前にリリースされたモデルと比較して、アラビア語 BERT モデルの性能を顕著に向上させることができるか？
• RQ2 データクリーニング、正規化、BBPE トークナイゼーションは、多様な NLU タスクにおいてアラビア語 BERT の性能をどの程度向上させるか？
• RQ3 より深いアーキテクチャ（SABER、24層）は、浅いモデル（JABER、12層）と比較して、アラビア語 NLU ベンチマークで顕著に優れた性能を発揮するか？
• RQ4 特定のドメインで事前学習を行わない単一のアラビア語 BERT モデルが、MSA、方言、ソーシャルメディアテキストのすべての分野で効果的に汎化できるか？
• RQ5 ALUE や ANER corp のような標準化されたベンチマークにおいて、JABER および SABER は ARBERT や MARBERT といった既存の最先端モデルと比較してどの程度優れているか？

主な発見

• SABER は ALUE ベンチマークで 77.3％ の平均スコアを達成し、ARBERT や MARBERT を含むすべての先行モデルを上回る、新たな最先端の性能を記録した。
• JABER は、同じアーキテクチャとパラメータ数を有するにもかかわらず、ALUE ベンチマークで ARBERT より平均 2％ の高いスコアを記録した。
• SABER は、すべての ALUE タスクで JABER より平均 3.6％ のスコア向上を達成し、より深いアーキテクチャと最適化されたトレーニングの有効性を示した。
• ANER corp NER ベンチマークでは、JABER が 84.20％ の F1 スコアを達成し、MARBERT（80.50％）や他のベースラインを大きく上回った。
• JABER は他の BERT-base モデルと比較して、タスク間での分散が低く、より安定した性能を示した。
• XNLI（+12.4％） や MQ2Q（+7.5％） のような難易度の高いタスクでは、JABER と アラビア語-BERT の性能差が顕著に大きかった。これは、より優れた汎化能力を示している。