[論文レビュー] What Changes Can Large-scale Language Models Bring? Intensive Study on HyperCLOVA: Billions-scale Korean Generative Pretrained Transformers

Boseop Kim, HyoungSeok Kim+35 more|arXiv (Cornell University)|Sep 9, 2021

Topic Modeling参考文献 43被引用数 4

ひとこと要約

この論文では、5600億トークンのコリアンコーパスを用いて事前学習された820億パラメータのコリアン生成トランスフォーマー、HyperCLOVAを紹介している。これは、コリアンNLPタスクにおける文脈内ゼロショットおよびフェイワショット性能で最先端の結果を示している。言語特化型トークン化手法を提案するとともに、プロンプトベース学習（例：p-tuning）を統合し、性能を向上させている。また、機械学習の専門知識がほとんどいらない非エキスパート向けのプロンプト工学インターフェース、HyperCLOVA Studioを導入しており、これはNo Code AIのパラダイムを前進させている。

ABSTRACT

GPT-3 shows remarkable in-context learning ability of large-scale language models (LMs) trained on hundreds of billion scale data. Here we address some remaining issues less reported by the GPT-3 paper, such as a non-English LM, the performances of different sized models, and the effect of recently introduced prompt optimization on in-context learning. To achieve this, we introduce HyperCLOVA, a Korean variant of 82B GPT-3 trained on a Korean-centric corpus of 560B tokens. Enhanced by our Korean-specific tokenization, HyperCLOVA with our training configuration shows state-of-the-art in-context zero-shot and few-shot learning performances on various downstream tasks in Korean. Also, we show the performance benefits of prompt-based learning and demonstrate how it can be integrated into the prompt engineering pipeline. Then we discuss the possibility of materializing the No Code AI paradigm by providing AI prototyping capabilities to non-experts of ML by introducing HyperCLOVA studio, an interactive prompt engineering interface. Lastly, we demonstrate the potential of our methods with three successful in-house applications.

研究の動機と目的

• 大規模で非英語の言語モデルにおいて、モデルサイズとプロンプト工学の影響を包括的に分析するという欠如している点を補う。
• 韓国語のような低リソースで屈曲語の特徴を持つ言語において、言語特化型トークン化が文脈内学習性能に与える影響を調査する。
• 大規模な文脈内学習言語モデルにおける連続的プロンプトベースチューニング（例：p-tuning）の有効性を示す。
• 非エキスパートが、インタラクティブでGUIベースのプロンプト工学プラットフォーム（HyperCLOVA Studio）を通じて、モデル訓練なしにAIシステムをプロトタイプ化できるようにする。
• 単一の大規模言語モデルを基盤として、多様な応用分野にわたるNo Code AIパラダイムの可能性を探る。

提案手法

• ウェブクローリングとデータ精錬を用いて、言語的・文化的な関連性を重視した5600億トークンのコリアン中心のコーパスを構築した。
• バイトレベルのBPEとマーフェムアナライザーを組み合わせたハイブリッドトークン化手法を設計し、韓国語の屈曲語構造をよりよく扱えるようにした。
• 標準的なGPT-3スタイルの自己回帰的言語モデル化目的関数を用いて、390億および820億パラメータのHyperCLOVAを訓練した。
• 主なモデルパラメータを微調整せずに、文脈内学習の性能を最適化するために連続的プロンプトチューニング（p-tuning）を適用した。
• 非技術的ユーザー向けに、GUIとAPIへのアクセスを提供するWebベースのインタラクティブインターフェース、HyperCLOVA Studioを開発した。
• 入力勾配機能を統合し、最小限のデータでフェイワショットプロンプトエンコーダーの微調整を可能にし、性能を向上させた。

実験結果

リサーチクエスチョン

• RQ1 言語特化型トークン化は、大規模な非英語言語モデルにおける文脈内学習性能にどのように影響するか？
• RQ2 韓国語NLPタスクにおけるゼロショットおよびフェイワショット設定において、中規模（390億）と大規模（820億）言語モデルの性能にどのような差があるか？
• RQ3 p-tuningのような連続的プロンプトベース最適化手法は、数十億規模の言語モデルにおける文脈内学習に効果的に適用可能か？
• RQ4 非エキスパートは、インタラクティブなプロンプト工学インターフェースをどれだけ活用して、モデル訓練なしに高性能なAIプロトタイプを構築できるか？
• RQ5 単一の大規模言語モデルが、非技術的分野におけるAI開発の民主化を実現するNo Code AIパラダイムを可能にするか？

主な発見

• 820億パラメータのHyperCLOVAは、複数の韓国語NLPベンチマークで、文脈内ゼロショットおよびフェイワショット性能において最先端の結果を達成した。
• 提案された韓国語特化型トークン化手法は、標準的なBPEと比較して、特に構文的に複雑な文脈で下流タスクの性能を顕著に向上させた。
• p-tuningは分類タスクおよび生成タスクの両方で性能を向上させ、標準的なプロンプトテンプレートやフェイワショットベースラインを上回った。
• 中規模のHyperCLOVAモデル（390億）は、フェイワショット一般化性能が高く、スケーラビリティと効率性のトレードオフが管理可能であることを示した。
• HyperCLOVA Studioは、非エキスパートが最小限のデータとモデル訓練なしに、人間のエキスパートと同等の性能を持つAIアプリケーションをプロトタイプ化できるようにした。
• 入力勾配に基づくプロンプトチューニングの統合により、非エキスパートですらフェイワショット例をわずかに使用するだけでSOTA結果を達成でき、No Code AIの実用的妥当性を示した。