[論文レビュー] Efficient Continual Pre-training for Building Domain Specific Large Language Models

Yong Xie, Karan Aggarwal+1 more|arXiv (Cornell University)|Nov 14, 2023

Topic Modeling被引用数 5

ひとこと要約

本稿では、分野特化型の大規模言語モデルを構築するための効率的な継続的事前学習手法—ETS-DACPおよびETA-DACP—を提案する。選択的データキュレーションが、通常の継続的事前学習の10%のデータとコストで、金融分野のタスク性能を向上させつつ、オープンドメインの能力を維持できることを示している。

ABSTRACT

Large language models (LLMs) have demonstrated remarkable open-domain capabilities. LLMs tailored for a domain are typically trained entirely on domain corpus to excel at handling domain-specific tasks. In this work, we explore an alternative strategy of continual pre-training as a means to develop domain-specific LLMs over an existing open-domain LLM. We introduce FinPythia-6.9B, developed through domain-adaptive continual pre-training on the financial domain. Continual pre-trained FinPythia showcases consistent improvements on financial tasks over the original foundational model. We further explore simple but effective data selection strategies for continual pre-training. Our data selection strategies outperform vanilla continual pre-training's performance with just 10% of corpus size and cost, without any degradation on open-domain standard tasks. Our work proposes an alternative solution to building domain-specific LLMs cost-effectively.

研究の動機と目的

• 分野適応型の継続的事前学習が、金融のような低データ分野において、高パフォーマンスの分野特化型LLMを効果的に構築できるかどうかを調査すること。
• 分野特化型LLMをゼロから訓練する際の高コストとデータ非効率性を解消するため、コスト効率の高い代替手段として継続的事前学習を検討すること。
• タスク固有のデータを必要とせず、オープンドメインのパフォーマンスを損なわせることなく、継続的事前学習の効率を高めるデータ選択戦略を開発すること。
• 継続的事前学習が、標準ベンチマークにおける一般言語能力に悪影響を及えるかどうかを評価すること。
• 事前学習された基盤モデルと標的のデータキュレーションを用いて、スケーラブルで低コストな分野特化型LLMの構築パイプラインを確立すること。

提案手法

• 公共のソースから160億語の規模の金融コーパスを収集した：CommonCrawlを介した金融ニュースとSEC提出書類を含み、重複除去により訓練効率を向上させた。
• 類似度、パープレキシティ、トークンタイプエントロピーを用いて、継続的事前学習に適した高価値の訓練サンプルを選択する、ETS-DACP（タスクに依存）およびETA-DACP（タスクに依存しない）手法を提案した。
• 選択された金融データを用いて、Pythia-6.9Bの基盤モデルに対して継続的事前学習を実施し、再訓練を伴わずに分野固有の分布に適応させた。
• 3つのデータ選択メトリクスを用いた：(1) タスクデータへの意味的類似度（ETS-DACP用）、(2) パープレキシティ（ETS-DACPおよびETA-DACP-ppl用）、(3) トークンタイプエントロピー（ETA-DACP-ent用）、これによりタスクに依存しない選択が可能になった。
• 金融ベンチマークおよび標準的なオープンドメインタスク（例：MMLU、TruthfulQA）でのパフォーマンスを評価し、分野適応性と能力保持の両面を検証した。
• 通常の継続的事前学習、ETS-DACP、ETA-DACPのバリエーションを比較し、全コーパスの10%のデータを用いてコストパフォーマンスのトレードオフを評価した。

Figure 1 : Labeled task data, task-similar domain data and domain corpus in a manifold space.

実験結果

リサーチクエスチョン

• RQ1 元の基盤モデルと比較して、分野適応型の継続的事前学習は、金融分野のタスク性能を著しく向上させることができるか？
• RQ2 データ選択戦略は、通常の継続的事前学習と比較して、訓練コストとデータ量を大幅に削減しながら、パフォーマンスを維持または向上させることができるか？
• RQ3 分野データに対する継続的事前学習は、オープンドメインの標準ベンチマーク（MMLU、TruthfulQA、HellaSwagなど）におけるモデルのパフォーマンスに顕著な悪影響を及えるか？
• RQ4 タスクに依存しないメトリクス（例：パープレキシティ、エントロピー）は、タスクに依存する類似度ベースの選択と比較してどれほど効果的か？
• RQ5 継続的事前学習により、モデルは最新の金融分野の知識を習得し、それを保持できるか？

主な発見

• Pythiaの訓練データ量の8%に相当するデータで継続的事前学習を実施したFinPythia-6.9Bは、ベースのPythiaモデルと比較して、金融分野のベンチマークで一貫した性能向上を達成した。
• ETS-DACPおよびETA-DACP手法は、分野コーパス全体の10%のデータを用いた場合、通常の継続的事前学習を上回る性能を示し、顕著にコストとデータ量を削減した。
• パープレキシティとエントロピーをタスクに依存しない選択基準として用いるETA-DACPは、タスクに依存するETS-DACPとほぼ同等の性能を示し、ラベル付きタスクデータが不要なデータ選択を可能にした。
• MMLU、TruthfulQA、HellaSwagなどのオープンドメインベンチマークにおいて顕著な劣化は観察されず、継続的事前学習が一般言語能力を維持していることが示された。
• 定性的分析により、FinPythiaが最新の市場動向や規制動向を含む、最新の金融分野知識を的確に習得・保持していることが確認された。
• 分野データの10%（23.9億トークン）を用いて訓練したモデルは、金融タスクで最先端のパフォーマンスを達成し、パフォーマンスを損なわずにデータ効率性とコスト削減が実現可能であることを示した。

Figure 2 : Training loss of FinPythia-6.9B. FinPythia-6.9B achieves significant loss drop in financial corpus at mild expense of Pile loss.