[論文レビュー] Large-Scale Contextualised Language Modelling for Norwegian

Andrey Kutuzov, Jeremy Barnes+3 more|arXiv (Cornell University)|Apr 13, 2021

Topic Modeling参考文献 29被引用数 15

ひとこと要約

本稿では、約20億トークンの混合BokmålおよびNynorskテキストを用いて学習された、ノルウェー語用の最初の大規模な単語言語モデルであるNorELMoとNorBERTを提示する。これらのモデルは、複数言語のmBERTおよび先行するノルウェー語ベースラインよりも、複数の自然言語処理（NLP）タスクで優れた性能を示し、スパン抽出タスクではF1スコアで20.6ポイント向上、二値感情分析タスクでは9.4ポイントの向上を達成した。

ABSTRACT

We present the ongoing NorLM initiative to support the creation and use of very large contextualised language models for Norwegian (and in principle other Nordic languages), including a ready-to-use software environment, as well as an experience report for data preparation and training. This paper introduces the first large-scale monolingual language models for Norwegian, based on both the ELMo and BERT frameworks. In addition to detailing the training process, we present contrastive benchmark results on a suite of NLP tasks for Norwegian. For additional background and access to the data, models, and software, please see http://norlm.nlpl.eu

研究の動機と目的

• 先進的なNLPアプリケーションを支援するため、ノルウェー語用の大規模な単語言語モデルを開発すること。
• 特に低リソース言語設定と比較して、高リソースでドメイン最適化されたノルウェー語用の言語モデルが不足している状況に対処すること。
• 北欧のHPCインfraストラクチャ上で大規模言語モデルのトレーニングとデプロイメントを効果的に行うための再利用可能で高性能なソフトウェアスタックを確立すること。
• 多言語モデルおよび先行の最先端モデルと比較して、単語言語モデルのノルウェー語用の性能を多様なNLPタスクでベンチマークすること。
• データ、モデル、最適化されたトレーニングソフトウェアへのオープンアクセスを通じて、将来のモデル開発の持続可能なエコシステムを育成すること。

提案手法

• Norsk Aviskorpus、Bokmål Wikipedia、Nynorsk Wikipediaから得た19億語トークンの組み合わせコーパスを用いて、NorELMoおよびNorBERTモデルを学習した。
• 実世界での使用割合を反映した割合（Bokmålが優勢）に従い、BokmålおよびNynorskの両方で統合的なトレーニング設定を採用した。
• データ前処理には、Wikipedia抽出のためのGensim、デトークン化、UTF-8正規化、文分割のためのStanzaを用いた。
• 国家HPCクラスタ（PuhtiおよびSaga）上でGPU加速トレーニングに最適化された、完全自動化・モジュラー化されたソフトウェアスタック（EasyBuildを基盤に構築）を採用した。
• ELMoおよびBERTアーキテクチャを用いてモデルをトレーニングし、BERTトレーニングは分散トレーニングにより4GPUノードで約3週間を要した。
• POSタギング、センチメント分析、否定検出、NERを含むベンチマークスイートでモデルを評価し、mBERTおよびNB-BERTと比較した。

実験結果

リサーチクエスチョン

• RQ1 スパン抽出タスクや名前付きエンティティ認識タスクなど、下流のノルウェー語NLPタスクにおいて、単語言語モデル（NorELMoおよびNorBERT）は多言語モデル（mBERT）と比べてどの程度優れているか？
• RQ2 より大きな単語言語モデルのノルウェー語コーパスで学習することで、センチメント分析や名前付きエンティティ認識タスクの性能がどの程度向上するか？
• RQ3 モデルアーキテクチャやトレーニングデータ構成（例：Bokmål対Nynorskの比率）が、多様なNLPタスクにおける性能に与える影響はいかほどか？
• RQ4 国家HPCインfraストラクチャ上で、コミュニティ主導でオープンかつ再現可能な大規模言語モデルトレーニングのソフトウェアスタックを効果的に展開できるか？
• RQ5 異なるNLPタスクにおいて、NorBERTとNorELMoの相対的な強みは何か？また、それらは先行の最先端スパン抽出モデルと比べてどの程度優れているか？

主な発見

• ノルウェー語データにおける単語言語モデルの事前学習の恩恵を示し、二値感情分析タスクでmBERTより9.4ポイント高いスコアを達成した。
• スパン抽出タスクのHolder F1指標において、以前の最先端モデルと比較して20.6ポイントのF1スコア向上を達成した。
• 否定検出タスクではmBERTが最高の全体F1スコアを記録した。これは、多言語事前学習が言語間で構造的類似性を持つタスクに有利に働く可能性を示唆している。
• NorELMoモデルはセンチメント分類タスクでmBERTを7.3ポイント上回り、ELMoアーキテクチャでも高い性能を示した。
• ノルウェー語言語モデル（NorLM）イニシャチブは、国家HPCシステム上でモデルを効果的にトレーニング・リリースした。ソフトウェアスタックとモデル重みはCC BY 4.0の下で公開された。
• ベンチマークパイプラインは、タスクごとにモデル性能に顕著な差が生じることを示し、多様でタスク固有のモデルと体系的な評価の必要性を強調した。