[論文レビュー] A Technical Report for Polyglot-Ko: Open-Source Large-Scale Korean Language Models

Hyunwoong Ko, Kichang Yang+6 more|arXiv (Cornell University)|Jun 4, 2023

Topic Modeling被引用数 4

ひとこと要約

この論文では、863GBの洗練済み1.2TBの韓国語テキストデータを用いてトレーニングされた、オープンソースで大規模な韓国語言語モデル（1.3B〜12.8Bパラメータ）であるPolyglot-Koを紹介する。モデルはKOBESTベンチマークにおいて、ゼロショットおよびフェイシングショット性能を高い水準で達成しており、12.8Bパラメータのモデルは商業利用に適した公開済みで最大の韓国語モデルである。これは韓国語NLP分野の発展に大きな可能性を示している。

ABSTRACT

Polyglot is a pioneering project aimed at enhancing the non-English language performance of multilingual language models. Despite the availability of various multilingual models such as mBERT (Devlin et al., 2019), XGLM (Lin et al., 2022), and BLOOM (Scao et al., 2022), researchers and developers often resort to building monolingual models in their respective languages due to the dissatisfaction with the current multilingual models non-English language capabilities. Addressing this gap, we seek to develop advanced multilingual language models that offer improved performance in non-English languages. In this paper, we introduce the Polyglot Korean models, which represent a specific focus rather than being multilingual in nature. In collaboration with TUNiB, our team collected 1.2TB of Korean data meticulously curated for our research journey. We made a deliberate decision to prioritize the development of Korean models before venturing into multilingual models. This choice was motivated by multiple factors: firstly, the Korean models facilitated performance comparisons with existing multilingual models; and finally, they catered to the specific needs of Korean companies and researchers. This paper presents our work in developing the Polyglot Korean models, which propose some steps towards addressing the non-English language performance gap in multilingual language models.

研究の動機と目的

• 英語以外の言語、特に韓国語における多言語モデルの性能格差を是正するため、専用で高品質な単一言語モデルを開発すること。
• 韓国における研究者および実務家が、韓国語NLPタスクに特化した強力でアクセス可能で商業的に利用可能な言語モデルを入手できるようにすること。
• まず単一言語で高品質なトレーニングと評価を確立することで、将来的な多言語モデルの基盤を築くこと。
• 特定の単一言語向けに最適化された単一言語モデルが、韓国語のような低リソース非英語環境において、多言語モデルを上回ることを示すこと。

提案手法

• Polyglot-Koモデルは、大規模な韓国語コーパス上で次トークン予測を最適化したトランスフォーマー・アーキテクチャに基づいている。
• TUNiBが収集・洗練した1.2TBの韓国語データセットは、ニュース、ブログ、特許、ソーシャルメディアなど多様なソースをカバーしている。
• データセットは、文書構造の保持を重視して前処理され、863GBのクリーンなテキストにまで縮小されたが、後で改行の処理に誤りが生じたことが判明した。
• 1.3B、3.8B、5.8B、12.8Bの4つのモデルが、増加するパラメータ数に応じて、マルチノードトレーニングインfraを用いてトレーニングされた。
• モデルの評価は、複数のNLPタスクにおけるゼロショットおよびフェイシングショット性能を測定するKOBESTベンチマークを用いて実施された。
• 特にセンチメント分析タスクにおける不安定性を是正するため、ゼロショット性能を安定化させるために変更されたプロンプトが開発された。

(a)

実験結果

リサーチクエスチョン

• RQ1 大規模で単一言語の韓国語言語モデルは、既存の多言語モデルを上回る性能を示せるか？
• RQ2 モデルサイズ（パラメータ数）が、韓国語におけるゼロショットおよびフェイシングショットベンチマークの性能に与える影響はいかほどか？
• RQ3 データ品質および前処理の質が、低リソース言語環境におけるモデルの性能と信頼性に与える影響はどの程度か？
• RQ4 特定の単一言語向けに最適化されたモデルは、東アジア語族およびロマンス語族における将来的な多言語モデルの基盤として実用的か？
• RQ5 プロンプト工学により、センチメントおよび否定検出タスクにおけるゼロショット評価の不安定性をどのように是正できるか？

主な発見

• Polyglot-KoモデルはKOBESTベンチマークで競争力のある性能を示し、1.3Bから12.8Bパラメータにかけてモデルサイズが増加するにつれて性能が一貫して向上した。
• 12.8Bパラメータのモデルは、商業利用に適した公開済みで最大の韓国語言語モデルであり、韓国語NLPエコシステムへの顕著な貢献である。
• 変更されたプロンプトは、SentiNegタスクにおけるゼロショット性能を顕著に向上させ、デフォルトプロンプトで観察された不安定性を低減した。
• 5.8Bおよび12.8Bのモデルは、ベンチマークの4つのタスクすべてで優れたフェイシングショット性能を示し、強力なフェイシングショット一般化能力を示した。
• 高品質なデータにもかかわらず、前処理の誤り（具体的には改行の誤った除去）により情報損失が生じた可能性があり、今後のバージョンで是正する必要がある。
• 計算量の増加に伴い一貫した改善が見られたことから、韓国語言語文脈におけるスケーリング法則の妥当性が裏付けられた。

(b)