[論文レビュー] A Family of Pretrained Transformer Language Models for Russian

Dmitry Zmitrovich, А. А. Абрамов+11 more|arXiv (Cornell University)|Sep 19, 2023

Natural Language Processing Techniques被引用数 15

ひとこと要約

論文は13のロシア語Transformer LMsをエンコーダ、デコーダ、エンコーダ-デコーダのアーキテクチャで事前学習させ、公開し、ロシア語NLPベンチマークの広範なスイートで評価し、いくつかのタスクで最先端の結果を達成します。

ABSTRACT

Transformer language models (LMs) are fundamental to NLP research methodologies and applications in various languages. However, developing such models specifically for the Russian language has received little attention. This paper introduces a collection of 13 Russian Transformer LMs, which spans encoder (ruBERT, ruRoBERTa, ruELECTRA), decoder (ruGPT-3), and encoder-decoder (ruT5, FRED-T5) architectures. We provide a report on the model architecture design and pretraining, and the results of evaluating their generalization abilities on Russian language understanding and generation datasets and benchmarks. By pretraining and releasing these specialized Transformer LMs, we aim to broaden the scope of the NLP research directions and enable the development of industrial solutions for the Russian language.

研究の動機と目的

• 単言語のロシア語Transformer LMsのギャップを動機づけ、多様なモデルファミリーを公開する。
• 研究および産業利用のために、複数のアーキテクチャとサイズにまたがる13のロシア語LMを事前学習させ公開する。
• ロシア語の広範なNLUおよびNLGタスクにおける一般化とダウンストリーム性能を評価する。

提案手法

• Wikipedia、ニュース、書籍、C4、OpenSubtitlesから大規模で多様なロシア語事前学習コーパスを組み立てる。
• エンコーダ（ruBERT、ruRoBERTa、ruELECTRA）、デコーダ（ruGPT-3）、エンコーダ-デコーダ（ruT5、FRED-T5）アーキテクチャの13モデルを、タスクに適した目的で事前学習する。
• 各モデルのアーキテクチャの詳細、事前学習設定、コーパス統計（パラメータ、層、トークン）を報告する。
• ロシア語のNLUベンチマーク（Russian SuperGLUE、RuCoLA、毒性、受容性）およびNLGタスク（テキスト簡略化、要約、脱毒化）でモデルを評価する。
• 多言語ベースラインおよびロシア語LMと比較し、いくつかのタスクで最先端の結果を強調する。

実験結果

リサーチクエスチョン

• RQ1 単言語ロシア語Transformer LMsは、多言語ライバルと比較して多様なNLUタスクでどのように性能を発揮するか？
• RQ2 アーキテクチャ（エンコーダ対デコーダ対エンコーダ-デコーダ）とモデルサイズがロシア語のNLUおよびNLGベンチマークに与える影響は？
• RQ3 厳選されたロシア語事前学習コーパスとアーキテクチャの多様性は、標準的なロシア語NLPタスクで最先端の結果をもたらすか？
• RQ4 提案されたモデルは、ロシア語の生成タスク（テキスト簡略化、要約、脱毒化）でどのように性能を発揮するか？

主な発見

• ruRoBERTa-large のようなエンコーダーLMは、エンコーダーモデルの中でロシア語 SuperGLUE で全体的に高い性能を達成（総合68.1）です。
• FRED-T5-XL および FRED-T5-large はいくつかの NLG タスクでトップの結果を達成し、RuCoLA の適合性と detoxification で強い性能を示している。
• FRED-T5-XL のエンコーダー結果と FRED-T5 モデルは、複数のタスクで一般的にベースラインを上回り、いくつかのベンチマークで人間に近い、または強力な競争力のある性能に貢献している。
• デコーダーのみの ruGPT-3 モデルは一部のタスクで競争力があるが、全体のセットでエンコーダー-デコーダーLMを一貫して上回ることは一般的ではない。
• エンコーダー-デコーダーLM（ruT5-base/large、FRED-T5-large/XL）は、NLUおよびNLGベンチマークで強力な結果を示し、FRED-T5-XL がいくつかの指標でリードするスコアを達成。
• 本研究は、多くの Russian SuperGLUE タスクと RuCoLA で最先端またはほぼ最先端の結果を示し、機械的読解と detoxification における人間の性能との差を縮める。