[論文レビュー] Evaluation of Transfer Learning for Polish with a Text-to-Text Model

Aleksandra Chrabrowa, Łukasz Dragan+5 more|arXiv (Cornell University)|May 18, 2022

Natural Language Processing Techniques被引用数 10

ひとこと要約

本稿では、mT5から転移学習を用い、多様なポーランド語コーパスを用いた修復型事前学習目的関数に基づき、ポーランド語向けに微調整された多言語T5ベースのテキスト対テキストモデル、plT5を紹介する。ポーランド語NLPの新しいベンチマークを確立し、要約および質疑応答のためのオリジナルデータセットを提供する。plT5はKLEJ、翻訳、質疑応答の各タスクで最先端の性能を達成しており、要約を除き、他のモデルを上回っている。要約タスクではplBARTが優れている。

ABSTRACT

We introduce a new benchmark for assessing the quality of text-to-text models for Polish. The benchmark consists of diverse tasks and datasets: KLEJ benchmark adapted for text-to-text, en-pl translation, summarization, and question answering. In particular, since summarization and question answering lack benchmark datasets for the Polish language, we describe their construction and make them publicly available. Additionally, we present plT5 - a general-purpose text-to-text model for Polish that can be fine-tuned on various Natural Language Processing (NLP) tasks with a single training objective. Unsupervised denoising pre-training is performed efficiently by initializing the model weights with a multi-lingual T5 (mT5) counterpart. We evaluate the performance of plT5, mT5, Polish BART (plBART), and Polish GPT-2 (papuGaPT2). The plT5 scores top on all of these tasks except summarization, where plBART is best. In general (except for summarization), the larger the model, the better the results. The encoder-decoder architectures prove to be better than the decoder-only equivalent.

研究の動機と目的

• 統一されたテキスト対テキストフレームワークを用いて、ポーランド語における転移学習の有効性を評価すること。
• 要約および質疑応答の分野におけるポーランド語用ベンチマークデータセットの不足を補うために、新規データセットを構築し公開すること。
• mT5からの転移学習を用いて、ポーランド語固有のモノリンガルT5モデル（plT5）を開発・事前学習し、下流タスクでの性能を向上させること。
• 複数のNLPタスクにおいて、既存のポーランド語モデル（plBART、papuGaPT2）およびmT5とplT5を比較すること。
• モノリンガルモデルを多言語チェックポイントから初期化する手法の効率性と有効性を示すこと。

提案手法

• Wikipedia、NKJP、Wolne Lektury、Open Subtitles、Common Crawlを含む、ポーランド語テキストコーパスの混合物を用いて、スパン破損を用いた修復型自己符号化目的関数に基づき、plT5を事前学習した。
• 共有トークンのコピーと、未知語素子の平均埋め込みによる処理により、mT5からのモデル重み初期化を実施した。
• 代表的なポーランド語テキストの25％を対象に、Sentencepieceのユニグラムトークナイザを学習し、50k語彙のサブワードトークナイザを構築した。
• テキスト対テキストKLEJベンチマーク、英語-ポーランド語翻訳、要約、質疑応答の4つのタスクで、plT5を微調整した。
• すべてのタスクで同じ学習およびデコード手順を用い、統一されたモデル適用のためのテキスト対テキストパラダイムを活用した。
• 標準指標を用いて性能を評価した：分類タスクでは正答率、翻訳タスクではBLEU、要約タスクではROUGE、質疑応答タスクでは正確一致/F1スコア。

実験結果

リサーチクエスチョン

• RQ1 plT5は、多様なポーランド語NLPタスクにおいて、mT5および他のポーランド語固有モデル（plBART、papuGaPT2）と比較してどのように性能を発揮するか？
• RQ2 多言語T5モデルからの転移学習により、分野特化の事前学習を最小限に抑えて、モノリンガルポーランド語タスクで優れた性能を達成できるか？
• RQ3 モデルサイズが、ポーランド語のさまざまなNLPタスクにおける性能に与える影響は何か？
• RQ4 T5のようなエンコーダ-デコーダアーキテクチャと、GPT-2のようなデコーダー専用モデルとを比較した場合、ポーランド語文脈でどちらが優れているか？
• RQ5 新しく構築された要約および質疑応答のためのベンチマークデータセットが、評価の一貫性および再現可能性をどの程度向上させるか？

主な発見

• plT5は、KLEJベンチマーク、英語-ポーランド語翻訳、質疑応答タスクのすべてにおいて、評価対象のモデルの中で最高の性能を達成した。
• 要約タスクでは、plBARTがplT5を上回った。これは、このタスクにおいてアーキテクチャの選択が非常に重要であることを示している。
• 大規模モデル（baseおよびlarge）は、要約を除き、すべてのタスクで小規模バージョンを上回った。要約タスクでは性能差がやや小さかったが、依然として一貫した優位性を示した。
• エンコーダ-デコーダモデル（plT5、plBART）は、すべてのタスクでデコーダー専用モデル（papuGaPT2）を大きく上回ったが、要約タスクを除いては顕著であった。
• mT5からの転移学習アプローチにより、効率的な事前学習が可能となり、強い性能が得られた。これは、多言語チェックポイントからモノリンガルモデルを初期化する手法の有効性を裏付けた。
• 著者らは、ポーランド語要約および質疑応答のための新規ベンチマークデータセットを公開した。これらは公開されており、今後の研究を支援する。