[論文レビュー] GPT-SW3: An Autoregressive Language Model for the Nordic Languages

Ariel Ekgren, Amaru Cuba Gyllensten+8 more|arXiv (Cornell University)|May 22, 2023

Scientific Computing and Data Management被引用数 4

ひとこと要約

GPT-SW3 は、スウェーデン語、ノルウェー語、デンマーク語、アイスランド語、英語の多言語およびコードデータを合計3200億トークン分用いて学習された、北欧言語向けの最初のネイティブ自己回帰型大規模言語モデルである。12600万～400億パラメータのモデルサイズで、指令微調整済みバージョンを含む。データ収集の明確な選別、規制遵守に配慮した処理、および国立スーパーコンピュータインフラの活用により開発され、言語的・文化的に代表されない北ゲルマン語の研究者にとって、特許権のないモデルとは対照的に透明性が高く、オープン研究志向の代替手段を提供する。

ABSTRACT

This paper details the process of developing the first native large generative language model for the Nordic languages, GPT-SW3. We cover all parts of the development process, from data collection and processing, training configuration and instruction finetuning, to evaluation and considerations for release strategies. We hope that this paper can serve as a guide and reference for other researchers that undertake the development of large generative models for smaller languages.

研究の動機と目的

• 北ゲルマン語（北ゲルマン語）を対象とした、最初のネイティブ大規模言語モデルの開発を目的とし、小規模なヨーロッパ言語向けに多言語LLMが不足している現状を是正すること。
• 北欧言語向けに高品質で多様なテキストを収集するにあたり、データ不足と規制的課題（例：GDPR、著作権）を克服すること。
• 国立スーパーコンピュータインフラ（例：Berzelius、SNIC）を活用して学習を実施し、北欧研究分野におけるアクセス可能性と持続可能性を確保すること。
• オープン研究志向の明確なリリース戦略を確立し、開かれた姿勢と責任あるAIの原則の両立を図ること。
• 北欧NLPコミュニティが、文化的・言語的代表性を考慮したネイティブLLMを、検証および拡張可能にアクセスできるようにすること。

提案手法

• ニュース、書籍、コードなど多様なソースから成る、約3200億トークンのデータセット「The Nordic Pile」を構築。言語別にフィルタリングおよび重複除去を実施した。
• 多言語トークナイザーを用いてデータを処理し、GDPRおよび著作権規制に準拠した厳密なフィルタリングを実施して品質とコンプライアンスを確保した。
• 国立HPCインフラ（Berzelius）を用い、NeMo Megatronフレームワークを通じて、因果的言語モデリングに基づくデコーダー専用のTransformerモデルを学習した。
• 微調整のための指示データセットを収集し、選択したモデルに対して指令微調整を実施することで、ゼロショットおよびフェイワショット性能を向上させた。
• 研究者向けの責任あるアクセスを確保するため、手動による申請審査と、変更を加えたBigScience RAILライセンスを採用した制限付きプレリリース戦略を実装した。
• 実際のアート展示会でのKlaraチャットボットのデプロイを通じて、実世界での検証を実施。7000件を超えるユーザーインタラクションを収集し、生成品質および社会的影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 限られた既存の学習データと規制的制約のもとで、北欧言語向けに高品質で大規模な言語モデルをどのように開発できるか？
• RQ2 国家的LLMイニシアチブにおいて、データのオープン性、コンプライアンス（例：GDPR）、およびモデルのアクセス可能性の最適なバランスは何か？
• RQ3 商用クラウドプロバイダーに依存せずに、国立HPCインフラが低リソース言語向けに400億パラメータのLLMを学習可能であるか？
• RQ4 指令微調整は、複数の言語およびタスクにわたる北欧LLMのゼロショットおよびフェイワショット性能をどのように向上させられるか？
• RQ5 生成型LLMの社会的・実用的検証の道筋は、公共的および文化的文脈でどのように構築できるか？

主な発見

• GPT-SW3 は、5つの北欧言語および4つのプログラミング言語をカバーする包括的な3200億トークンのデータセットを学習データとして用いた、最初の多言語LLMである。モデルは12600万～400億パラメータの範囲で構成されている。
• GDPRおよび著作権法に厳密に準拠した、段階的なフィルタリングおよび重複除去パイプラインを用いて、Nordic Pileデータセットを成功裏に構築した。
• モデル群は、ベンチマーク評価および実世界でのデプロイ両方で、北欧言語全般にわたり強力なゼロショットおよびフェイワショット性能を達成した。
• 公共アート展示会でのKlaraチャットボットのデプロイは、7000件を超えるユーザーインタラクションを吸引し、優れた生成品質と高い公的関与を示した。
• 制限付きプレリリース戦略により、北欧NLP研究者に対して責任あるアクセスを実現したが、将来的な完全なオープンリリースを計画している。
• 国立HPCインフラ（Berzelius）が、400億パラメータのモデルの学習を成功裏に支援した。これは、国家研究エコシステム内での大規模LLM学習の実現可能性を裏付けた。