[論文レビュー] PharmaGPT: Domain-Specific Large Language Models for Bio-Pharmaceutical and Chemistry

Linqing Chen, Wei‐Lei Wang+34 more|arXiv (Cornell University)|Jun 26, 2024

Biomedical Text Mining and Ontologies被引用数 4

ひとこと要約

PharmaGPT は、膨大な生物医学および化学コーパスで微調整されたドメイン特化型の大規模言語モデル（13Bおよび70Bパラメータ）を導入し、NAPLEXおよび生物医学翻訳ベンチマークで最先端のパフォーマンスを達成した。一般向けモデル（GPT-3.5 や Claude 3）でさえも、顕著に少ないパラメータ数であるにもかかわらずこれを上回った。これは、バイオ医薬品分野における特化型事前学習の有効性を示している。

ABSTRACT

Large language models (LLMs) have revolutionized Natural Language Processing (NLP) by minimizing the need for complex feature engineering. However, the application of LLMs in specialized domains like biopharmaceuticals and chemistry remains largely unexplored. These fields are characterized by intricate terminologies, specialized knowledge, and a high demand for precision areas where general purpose LLMs often fall short. In this study, we introduce PharmaGPT, a suite of domain specilized LLMs with 13 billion and 70 billion parameters, specifically trained on a comprehensive corpus tailored to the Bio-Pharmaceutical and Chemical domains. Our evaluation shows that PharmaGPT surpasses existing general models on specific-domain benchmarks such as NAPLEX, demonstrating its exceptional capability in domain-specific tasks. Remarkably, this performance is achieved with a model that has only a fraction, sometimes just one-tenth-of the parameters of general-purpose large models. This advancement establishes a new benchmark for LLMs in the bio-pharmaceutical and chemical fields, addressing the existing gap in specialized language modeling. It also suggests a promising path for enhanced research and development, paving the way for more precise and effective NLP applications in these areas.

研究の動機と目的

• 一般向けLLMにおける正確性およびドメイン特化知識の不足を解消すること。
• 複雑な用語および洗練された科学的言語を処理できる多言語対応のドメイン特化型LLMの開発。
• より小さな、特化型モデルがドメイン特化NLPタスクにおいて、より大きな一般向けモデルを上回ることの証明。
• 収集済みで高品質な科学的コーパスを用いた、スケーラブルで効率的なドメイン特化型LLMのトレーニングフレームワークの確立。
• 今後の科学および医療分野における垂直ドメインLLM開発のための再現可能でオープンアーキテクチャのロードマップの提供。

提案手法

• 生物医薬品および化学文献から、数十億トークンに及ぶ包括的かつ多言語対応のコーパスを収集し、事前学習用に使用。
• マスク言語モデルとインstructチューニングの組み合わせを用いて、13Bおよび70BパラメータのLLMをドメイン特化タスクで微調整。
• 事前学習中の効率性とスケーラビリティを最適化するため、高度な分散トレーニング技術を採用。
• BLEUスコアを用いて、段落、文、語の各粒度の翻訳タスクに対して、多段階評価戦略を適用。
• 米国NAPLEXおよび中国の医薬品試験で、最先端の一般向けモデル（GPT-3.5、Claude 3、Googleのモデル）と比較して性能をベンチマーク。
• モデルサイズとドメイン特化ベンチマークでのパフォーマンス向上の関係を明らかにするため、スケーリング法則を分析。

実験結果

リサーチクエスチョン

• RQ1 より小さなドメイン特化型LLMが、より大きな一般向けLLMを生物医薬品および化学NLPタスクで上回ることは可能か？
• RQ2 収集済みの生物医学および化学コーパスで事前学習を実施することで、NAPLEXなどのドメイン特化ベンチマークでのパフォーマンスはどの程度向上するか？
• RQ3 多言語対応の生物医学的テキスト翻訳において、PharmaGPTのパフォーマンスは最先端の一般向けLLMと比べてどの程度優れているか？
• RQ4 専門的科学分野におけるモデルサイズの影響は何か？スケーリングは予測可能な傾向に従うか？
• RQ5 一般向けモデルと比較して顕著に少ないパラメータ数で、ドメイン特化型LLMが高品質な結果を達成できるか？

主な発見

• 段落レベルの生物医学翻訳において、PharmaGPTはBLEUスコア30を達成し、GPT-3.5（27）、Claude 3（26）、Googleのモデル（27）を上回った。
• 語のレベルの翻訳では、PharmaGPTは10のスコアを記録したが、GPT-3.5は8、Claude 3およびGoogleのモデルは両者とも9であった。
• 文のレベルでは、PharmaGPTはBLEUスコア18を達成し、GPT-3.5（15）およびClaude 3（16）を上回った。
• 米国NAPLEXおよび中国の医薬品試験において、PharmaGPTのパフォーマンスはモデルサイズの増加に伴い向上し、最終的にGPTを上回った。
• 翻訳の粒度のすべてにおいて一貫した優位性を示し、複雑な科学的言語の処理における堅牢性を裏付けた。
• 一部の一般向けモデルと比較して、パラメータ数が10分の1に満たないにもかかわらず、ドメイン特化評価で最先端の結果を達成した。